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本 书 以 作者 多 年 的 创新 性 研究 成 





























键 技术 进行 了 详细 的 前 述 。 全 书 











为 主要 内 容 ， 对 视线 追踪 的 各 项 关 
共 分 九 章 ， 主 要 介绍 了 与 视线 追踪 技术 相 


关 的 人 有 眼 生理 学 和 心理 学 知识 及 其 发 展 历史 ， 以 及 一 些 知名 的 视线 追踪 产 











品 ; 各 种 视线 追踪 技术 的 原理 和 相关 知识 ;图 
JU. 瞳孔 跟踪 ;视线 追踪 系统 标定 技术 ;视线 方向 估计 





























术 在 各 领域 的 应 用 。 本 书 集合 了 先进 性 、 系 统 性 、 理 论 性 与 实用 性 ， 





一 部 视线 追踪 技术 方面 的 专业 著作 。 
本 书 适合 大 专 院 校 、 人 研究 机 构 9 
使 用 ， 也 可 作为 相关 技术 公司 的 技术 参考 用 书 。 
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人 因 分 析 、 虚 拟 现实 等 领域 。 视 线 追 踩 技术 在 国外 姑 





视线 追踪 技术 广泛 地 应 用 于 人 机 交互 、 车 辆 辅助 驾驶 、 心 理 与 生理 学 研究 、 


F 展 较 早 ， 有 着 长 期 和 深厚 














的 技术 积累 ,并 形成 了 很 多 实际 应 用 产品 ， 但 价格 比较 郧 贵 。 我国 在 这 一 领域 


起 步 较 晚 、] 
究 越 来 越 受到 重视 。 
技 大 学 视线 追踪 技术 课题 组 长 期 从 事 视 线 追 踪 技 术 的 研究 ， 其 研究 
技术 研究 发 展 计划 (863 计划 ) 的 支持 。 





北京 科 
工作 得 到 了 
本 书 的 主要 




















投入 相对 较 少 ， 研 究 基础 相对 薄弱 ， 














国家 自然 科学 基金 和 国 另 
































前 我 国 视线 追踪 技术 的 研 





f 究 工作 及 国内 外 相关 文献 (主要 为 国外 


文献 )， 主 要 介绍 了 单 摄像 机 系统 和 双 摄 像 机 系统 的 相关 关键 技术 ， 具 有 一 定 的 


学 术 价 值 和 实际 应 用 价值 。 据 作者 检索 ， 目 前 OR 








SB) 本 书 为 国内 第 一 部 有 


关 视 线 追 踪 技 术 的 著作 。 参 考 检索 到 的 国外 两 部 专著 是 《Eye Tracking Methodol- 


ogy Theory and Practice) ( Andrew T Duchowski X, 2002 年 Springer 出 版 社 出 版 ) 
fu (Passive eye monitoring: algorithms, applications and experiments) ( Riad 
Hammoud XE, 2008 年 Springer 出 版 ) 。 通 过 作者 的 不 懈 努 力 ， 本 书 在 内 容 的 组 织 
更 加 专业 ， 内 容 也 更 

本 书 的 写作 目的 在 于 尽快 将 视线 追踪 相关 先进 技术 介绍 给 国内 的 研究 人 员 ， 
于 我 国 知 识 产权 的 视线 追踪 产 





推动 视线 追踪 技术 在 国内 的 发 
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视线 追踪 技术 是 利用 机 械 、 电 子 、 光 学 等 技术 手段 获取 受 试 者 “视觉 注意 ” 
术 ， 在 认 知 障碍 
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PN 


pd NS 





生理 





学 研究 、 


机 视 党 、 光 学 、 心 理学 与 解 
技术 ， 是 典型 的 多 学 科 交 又 1 


术 可 








人 





分 析 、 虚 拟 现实 等 。 视 线 追 踪 技 术 的 研究 范畴 涉及 图 











EUER E 


域 的 专业 知识 ， 技 术 手 段 需 融合 多 利 




















方向 的 技 


断 和 人 机 交互 领域 有 着 广泛 的 应 用 ， 如 和 人 机 交互 、 车 辆 辅助 鸭 驶 、 心 理 与 
像 处 理 与 分 析 、 计 算 
生物 特征 识别 
生 研 究 课题 。 按 照 系 统 构成 和 采用 的 检测 方法 不 同 ， 视 线 追 踪 技 
义 粗 略 地 划分 为 侵入 式 和 非 侵入 式 。 随 着 相关 技术 的 发 展 ， 基 于 数字 视频 分 析 的 





FE 侵入 


式 视线 追踪 系统 以 其 对 人 的 干扰 小 、 操 作 简 便 、 精 度 较 高 等 优点 成 为 当前 研究 的 热点 方向 。 











视线 追踪 主要 包括 两 部 分 关键 技术 ， 即 视线 参数 检测 和 视线 估计 模型 建立 。 作 者 长 期 从 





事 视线 追踪 技术 的 研究 ， 本 书 是 以 作者 多 年 的 创新 性 研究 成 果 为 主要 内 容 ， 对 视线 追踪 的 各 


项 关键 技术 进行 了 详细 阐述 。 全 书 共 分 9 章 。 
的 人 眼 生 理学 
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1 章 绪论 ， 主 要 介绍 了 与 视线 追踪 技术 相关 


和 心理 学 知识 。 第 2 章 视 线 追 踪 方 法 ， 回 顾 了 视线 追踪 技术 的 发 展 历史 ， 介 绍 





了 各 种 视线 追踪 技术 的 原理 和 相 
知名 的 视线 追踪 产品 。 第 4 章 图 
像 增强 方法 和 基于 边缘 检 钢 
视线 追踪 系统 采集 的 图 像 中 有 所 应 用 ， 可 提高 图 





的 图 

















像 预 处 理 ， 
和 和 双边 滤波 的 彩色 图 






































关 知 识 。 第 3 章 典型 视线 追踪 系统 及 构成 ， 介 


绍 了 国 





外 一 些 


主要 包括 两 部 分 内 容 ， 即 基于 反对 称 双 正 交 小 波 
像 滤 噪 方法 。 这 两 种 方法 分 昂 
介质 量 。 第 5 章 视线 参数 检测 ， 主 要 讨论 主 





在 VOG 


动 红外 光源 系统 的 人 眼 视 线 特 征 提取 方法 ， 介 绍 了 窄 视野 摄像 机 系统 视线 参数 检测 方法 和 宽 


视野 摄像 机 系统 视线 参数 检测 方法 。 第 6 章 瞳孔 跟踪 ， 是 以 瞳 了 
为 目标 ， 阐 述 了 粒子 滤波 和 卡尔 曼 滤 波 方 法 在 瞳 
定 ， 主 要 是 针对 双 摄 像 机 系统 的 光源 和 屏幕 位 置 标定 ， 介 绍 了 基于 平 ; 


孔 跟 踪 中 的 应 用 。 第 7 章 视 
































L 目标 检测 的 准确 性 和 快速 性 


线 追 踪 系 统 标 


镜 反 射 的 视线 追踪 系 


统 标定 方法 和 基于 多 摄像 机 全 局 标定 的 视线 追踪 系统 标定 方法 。 第 8 章 视 线 方向 估计 模型 ， 


是 视线 追踪 最 为 重要 的 关键 技术 ， 分 别 介绍 了 单 ; 
和 双 摄 像 机 系统 视线 估计 几何 模型 。 第 9 章 视线 追踪 技术 应 用 ， 详 细 计 


各 领域 的 应 用 





kx 


AW uuR di X EET XELÓ. € 1 章 由 北京 科技 大 学 王 志 
章 、 第 3 章 、 第 7 章 、 第 9 章 由 退 健 男 副教授 编写 ， 硕 士 研究 生 史 光 远 、 王 
涛 、 覃 艳 君 、 黄 荣 辉 和 博士 研究 生 张 琼 参 与 了 部 分 工作 。 第 4 章 、 第 5 章 、 第 6 章 、 第 8 章 由 
六 健 男 和 博士 研究 生 张 闻 共 同 编写 ,博士 研究 生 张 鹏 细 参 与 第 8 章 的 部 分 编写 工作 。 
内 第 一 部 关于 视线 追踪 技术 的 专业 书籍 ， 适 用 于 大 专 院 校 、 研 究 机 构 中 从 事 相 





关 领 域 研究 的 


金 、 国 家 高 技术 研究 发 展 计划 (863 t3 
书 中 难免 有 错 
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教师 、 研 究 人 员 和 研究 生 人 参考 使 用 。 本 书 的 相关 工作 得 到 了 国 
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最 像 机 平面 视线 参数 到 视线 落 点 的 映射 模型 
| 论 了 视线 追踪 技术 在 


良 教授 编写 。 第 2 
XB. A. 
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研究 有 关 视 线 追 踪 问 题 ， 首 先 应 该 了 解 有 关 视 觉 注意 、 人 了 眼 运动 、 人 有 眼 的 生理 结构 及 人 
眼 视觉 特性 等 一 些 相关 知识 。 视 觉 注意 主要 从 心理 学 的 角度 研究 人 眼 对 视觉 信息 的 加 工 过 
程 ， 已 有 较 长 时 间 的 研究 历史 。 视 线 追 踪 拉 术 是 研究 视觉 注意 的 工具 ， 视 觉 注 意 是 指导 视线 
追踪 技术 应 用 的 基础 。 眼 睛 运动 的 目的 是 为 了 注视 目标 和 提高 视 场 的 分 辨 率 ， 无论 人 眼 视线 
的 方向 如 何 ， 人 们 都 努力 看 清 视 场 中 的 细节 并 将 注意 力 集 中 在 目标 区 域 或 感 兴 趣 区 域 。 因 
此 ， 如 果 能 够 追踪 和 记录 人 眼 的 运动 ， 便 可 以 跟踪 观察 者 的 视觉 路 径 ， 进 而 了 解 到 观察 者 感 
兴趣 的 内 容 ， 以 及 观察 者 是 如 何 感知 观察 内 容 的 " 。 人 眼 的 生理 结构 和 人 眼 运动 的 特点 是 
进行 视线 追踪 技术 研究 必要 的 理论 基础 。 

















1.1 视觉 注意 


视觉 注意 的 研究 开始 于 19 世纪 末期 ， 20 世纪 50 年 代 中 期 认 知 心理 学 的 兴起 带动 了 注 
意 理论 及 视觉 注意 研究 的 广泛 开展 。 目 前 ,视觉 注意 依然 是 一 个 心理 研究 的 热点 课题 。 下 面 
内 容 根据 本 章 参 考 文献 【1 ，2] ， 概 述 注意 理论 及 视觉 注意 理论 的 发 展 过 程 。 


1.1.1 早期 注意 理论 


认 知 心理 学 不 仅 将 心理 过 程 看 做 是 信息 加 工 过 程 ， 而 且 在 整体 上 强调 了 人 的 心理 活动 的 
主动 性 ， 所 以 注意 研究 成 为 认 知心 理学 的 一 个 重要 和 领域。 注意 具有 选择 性 、 集 中 性 等 特征 ， 
由 于 认 知 心理 学 主要 强调 注意 的 选择 性 ， 即 注意 的 作用 过 程 ， 从 这 个 角度 出 发 ， 心 理学 家 们 
提出 了 一 些 注意 模型 。 

1958 年 ， 英 国 著名 心理 学 家 布 罗 德 班 特 提出 了 过 滤器 理论 。 他 认为 所 有 需要 加 工 的 信 
息 首 先 要 进入 过 滤器 过 滤 掉 无 用 的 信息 。 然 而 ， 美 国 普林斯顿 大 学 心理 学 系 教授 特 瑞 斯 曼 认 
为 ， 未 被 注意 的 信息 并 未 全 部 丢弃 ， 只 是 信号 被 衰减 ， 即 部 分 信息 得 到 进一步 加 工 。 基 于 这 
种 观点 ， 特 珊 斯 曼 于 1964 年 提出 了 注意 的 衰减 理论 。 以 上 两 种 理论 都 认为 注意 过 滤 早 于 刺 
激 再 认 ， 但 1963 年 加 利 福 尼 亚 大 学 圣地 亚 哥 分 校 神 经 科学 教授 德 尤 奇 等 人 提出 了 刺激 再 认 
先 于 注意 过 滤 的 理论 ， 他 们 认为 所 有 信息 都 被 加 工 ， 只 是 在 输出 结果 时 才 对 重要 刺激 做 出 反 
NU, 

由 此 可 见 ， 过 滤器 理论 和 衰减 理论 属于 早期 选择 观点 ， 认 为 注意 处 于 信息 加 工 的 知觉 阶 
段 ， 在 识别 前 对 信息 进行 选择 。 


1.1.2 近代 注意 理论 


20 世纪 中 期 心理 学 家 提出 的 注意 理论 只 是 比较 粗略 地 描述 了 注意 的 过 程 。 直 到 20 世纪 
80 年 代 以 后 ， 一 些 心 理学 家 提出 新 的 注意 模型 才 更 为 详细 地 解释 了 注意 的 过 程 。 
1. 特征 整合 理论 
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特 瑞 斯 曼 等 人 在 1980 年 提出 了 注意 的 特征 整合 理论 。 特 征 整 合理 论 假设 ， 对 知觉 对 象 
的 加 工 首 先 在 特征 水 平 上 进行 ， 然 后 以 注意 “胶水 ”将 游离 的 视觉 特征 粘 合 在 一 起 继续 加 
工 ， 最 后 获得 关于 对 象 的 知觉 。 在 前 注意 加 工 阶段 ， 人 们 以 平行 的 、 自 动 的 方式 对 于 整个 视 
域 中 各 对 象 的 所 有 特征 同时 进行 加 工 ， 无 需 注意 参与 ， 更 无 容量 限制 ; 在 注意 加 工 阶段 ， 当 
聚焦 注意 辨别 目标 时 ， 聚 焦 注 意 就 像 “ 腕 水 ”一 样 把 分 离 的 各 个 特征 整合 成 一 个 完整 的 知 
觉 对 象 。 这 时 人 们 对 刺激 特征 的 加 工 是 系列 的 ， 且 有 加 工 容 量 的 限制 。 

视觉 搜索 在 注意 特征 整合 理论 中 占有 重要 地 位 。 视 觉 搜索 包括 特征 搜索 和 联合 搜索 。 特 
征 搜索 是 指 当 视觉 搜索 目标 只 有 一 个 单一 的 、 不 被 任何 干扰 子 共 享 的 物理 特征 时 对 目标 的 平 
行 搜索 。 联 合 搜 索 是 指 如 果 干 扰 子 多 于 两 类 有 旦 目标 与 每 类 干扰 子 共享 一 个 特征 时 的 搜索 。 联 
合 搜索 是 在 特征 搜索 的 基础 上 进行 的 1 。 

特征 整合 理论 首次 把 刺激 特征 纳入 目标 刺激 的 检测 过 程 ， 即 刺激 特征 影响 视觉 搜索 的 结 
果 ， 因 此 该 理论 对 视觉 注意 理论 的 进展 产生 了 巨大 的 影响 。 

2. 指导 搜索 模型 

特征 整合 理论 认为 ， 特 征 搜索 属 平行 加 工 ， 联 合 搜索 属 系列 加 工 。 然 而 ， 有 些 研 究 人 员 
认为 实际 情况 并 不 完全 是 这 样 ， 特 征 搜索 也 有 系列 加 工 ， 而 联合 搜索 中 也 有 平行 加 工 。 针 对 
特征 整合 理论 的 不 足 ， 乌 尔 夫 等 人 提出 指导 搜索 模型 。 该 模型 认为 在 平行 加 工 阶段 ， 首 先 对 
有 限 基本 视觉 特征 进行 平行 加 工 ， 每 个 特征 维度 都 有 一 个 分 离 特 征地 图 ， 由 特征 地 图 产生 一 
组 激活 值 ， 综 合 每 一 特征 维度 的 激活 值 ， 便 可 得 到 激活 构图 。 系 列 加 工 阶段 根据 该 激活 构图 
中 每 个 位 置 的 激活 值 检测 目标 是 否 存 在 ， 低 激活 值 的 部 分 被 排斥 并 不 再 重新 检测 ， 直 到 发 现 
目标 刺激 或 者 发 现 无 目标 刺激 为 止 ""。 指 导 搜 索 模型 描述 了 视觉 注意 的 神经 机 制 。 

3. 相似 性 理论 

乌 尔 夫 的 指导 搜索 模型 详细 地 描述 了 视觉 搜索 的 脑 机 制 ， 还 有 一 些 理论 宏观 地 描述 视觉 
注意 过 程 。 

英国 剑桥 大 学 的 认 知 脑 科 学 学 者 邓肯 等 人 于 1989 年 提出 了 刺激 相似 性 理论 。 该 理论 认 
为 目标 搜索 是 由 目标 与 干扰 子 之 间 的 相似 性 和 干扰 子 彼此 之 间 相 似 性 所 决定 。 目 标 -干扰 子 
之 间 的 相似 性 越 高 ， 干 扰 子 彼此 之 间 的 相似 性 越 低 ， 目 标 搜索 越 困难 ， 目 标 搜 索 越 慢 ， 反 之 
亦 然 。 刺 激 相 似 性 理论 简单 地 概括 了 视觉 注意 的 规律 ， 对 后 来 的 视觉 注意 研究 产生 了 较 大 的 
影响 中 。 

4. 基于 空间 和 基于 物体 的 视觉 注意 理论 

认 知 心理 学 关注 的 问题 是 选择 注意 是 “基于 空间 ”的 ， 还 是 “基于 物体 ”的 。 

“基于 空间 ”的 选择 注意 理论 认为 注意 优先 选择 位 置 ， 然 后 对 被 选择 位 置 上 的 刺激 进行 
知觉 加 工 。 研 究 人 员 用 基于 空间 的 聚光灯 式 的 注意 模型 ， 作 为 “基于 空间 ”选择 注意 理论 
的 基本 框架 。 

“基于 物体 ”理论 则 认为 ， 选 择 注意 基于 物体 本 身 进 行 。 相 关 研 究 显示 ， 被 测试 者 对 来 
自 同一 物体 的 两 个 靶子 的 反应 并 不 比 只 对 一 个 靶子 的 反应 难 ， 此 时 注意 是 将 被 注意 的 客体 作 
为 一 个 整体 对 待 。 相 反 被 测试 者 对 来 自 不 同 客体 的 靶子 的 反应 则 比较 困难 ， 这 说 明 不 同 客体 
对 集中 注意 产生 了 竞争 。 上 述 结果 是 在 两 个 客体 占有 相同 空间 的 基础 上 进行 的 ， 难 以 用 基于 
空间 的 选择 注意 进行 解释 '*| 。 

尽管 有 证 据 表 明 ， 视 觉 注意 受 组 合 因素 的 影响 ， 但 其 中 空间 因素 仍 起 特殊 作用 ， 组 合 因 
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素 通过 影响 注意 空间 分 配 而 产生 特定 影响 "。 研 究 显 示 ， 空 间 是 视觉 注意 特有 的 性 质 ， 当 
个 体 选择 注意 的 客体 时 ， 可 能 忽略 其 位 置 。 而 在 注意 刺激 位 置 时 ， 却 不 会 忽视 该 客体 ” 。 

因此 ， 视 觉 认 知 系统 既 可 选择 客体 所 在 空间 ， 也 可 选择 被 注意 的 客体 本 身 。“ 基 于 物 
体 ” 和 “基于 空间 ”的 注意 选择 机 制 并 非 互 不 相 容 ， 而 是 相互 补充 的 。 到 目前 为 止 ， 很 多 
学 者 已 从 神经 生理 学 或 认 知 神经 科学 研究 中 获取 许多 与 认 知 心理 学 一 致 的 结果 ， 这 些 结论 将 
会 合理 地 解释 注意 选择 性 机 制 问题 ” 。 


1.1.3 当前 视觉 注意 理论 


对 于 特征 整合 理论 、 指 导 搜 索 模 型 和 刺激 相似 性 理论 等 模型 化 视觉 注意 的 规律 理论 ， 由 
于 这 些 理 论 仅 定性 地 描述 了 目标 搜索 的 决定 因素 ， 所 以 这 些 结果 在 实际 中 难以 操作 。 因 此 有 
必要 量化 视觉 注意 规律 ， 于 是 最 近 有 一 些 心理 学 研究 人 员 建 立 了 视觉 注意 的 数学 模型 。 例 
如 ， 丹 麦 哥 本 哈 根 大 学 心理 学 系 视觉 认 知 中 心 的 认 知 心理 学 教授 邦 德 森 试图 把 单个 刺激 再 
认 、 整 体 报告 、 检 测 和 视觉 搜索 整合 成 一 个 一 般 视觉 注意 理论 。 邦 德 森 等 人 认为 视觉 分 类 属 
平行 加 工 。 在 视觉 搜索 时 ， 尤 其 在 联合 搜索 时 ， 被 测试 者 首先 对 呈现 的 刺激 进行 分 类 。 邦 德 
森 等 人 的 模型 是 有 实际 意义 的 ”… 。 


1.1.4 未 来 注意 的 研究 


近年 来 ， 选 择 注意 的 研究 ， 例 如 注意 的 认 知 心理 和 神经 生理 效应 研究 、 注 意 机制 的 解剖 
定位 和 功能 研究 等 ， 取 得 了 很 大 进展 。 在 认 知 领域 ,关于 不 同 种 类 注意 之 间 的 关系 ， 如 是 否 
听觉 空间 注意 影响 视觉 空间 注意 等 问题 也 受到 关注 。 现 在 的 研究 人 员 逐 步 认 识 到 ， 选 择 注 意 
加 工 所 面临 的 主要 问题 是 要 挑选 特定 刺激 来 控制 特定 行为 。 这 是 因为 大 脑 在 一 定时 间 内 只 能 
完成 一 件 任 务 ， 如 支配 眼睛 或 一 只 手 朝 向 某 个 物体 。 上 述 认 知心 理学 及 神经 心理 学 的 各 种 问 
题 ， 都 是 今后 有 待 深 入 研究 的 。 显 然 选择 注意 研究 已 从 认 知 心理 学 角度 逐步 转向 认 知 神经 科 
学 领域 。 未 来 的 研究 趋势 是 运用 复杂 的 功能 成 像 方法 ， 促 进 心 理学 与 神经 科学 的 逐步 整 
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1.2 人 有 眼 系 统 的 视 沉 机 制 


人 类 约 8096 的 信息 是 通过 视觉 系统 获得 的 ， 在 所 有 的 感觉 通道 中 ， 视 觉 起 着 最 重要 的 
作用 。 视 觉 系统 的 各 种 功能 使 人 们 能 够 感知 外 界 环 境 物体 的 大 小 、 形 状 、 颜 色 等 属性 。 视 觉 
系统 的 主要 功能 是 由 视网膜 和 视觉 中 枢 共 同 完成 的 。 为 了 有 效 地 获得 视觉 信息 ， 了 眼睛 的 届 光 
系统 把 外 界 物体 的 像 清 晰 地 成 像 在 视网膜 上 ， 视 网 膜 上 的 光 感 受 器 把 光 信号 转变 为 电信 号 ， 
该 信号 通过 视网膜 上 的 神经 回路 逐 级 传递 和 处 理 ， 再 由 视神经 传送 至 视觉 中 枢 ， 最 后 分 析 形 
成 视 知 觉 。 

1.2.1 眼睛 


人 有 眼 可 见 光 线 只 占 全 部 电磁 波 波长 中 的 一 小 段 〈 即 约 400 ~700nm) 。 图 1. 1 所 示 为 眼球 
基本 结构 及 视线 方向 。 由 图 可 见 眼睛 近似 于 球状 ， 半 径 约 为 12mm。 
眼睛 的 外 层 ， 依 次 可 见 角膜 、 巩 膜 、 虹 膜 和 了 瞳孔。 角膜 是 一 层 透 明 的 保护 膜 ， 它 保护 着 
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眼睛 前 端 凸 出 的 血管 ， 履 在 虹膜 外 面 。 虹 巩膜 
膜 中 心 有 一 个 环 状 体 ， 称 作 瞳 孔 ， 它 的 作 
用 是 通过 持续 改变 大 小 来 调节 进入 眼睛 的 
光量 。 虹 膜 后 面 是 晶状体 ， 是 眼球 中 的 一 
种 透明 的 双 面 凸 体 ， 位 于 虹膜 与 玻璃 体 之 
间 ， 它 可 使 穿 过 瞳孔 进入 眼球 的 光线 聚集 
在 视网膜 上 来 形成 图 像 。 视 网 膜 位 于 眼球 
的 后 面 ， 它 列 含 大 量 感光 细胞 。 在 角膜 和 
晶状体 之 间 是 水 样 体 ， 在 晶状体 和 视网膜 
之 间 是 玻璃 体 。 光 线 在 进入 眼睛 后 穿 过 这 图 1.1 眼球 结构 图 

一 系列 的 光 介 质 并 在 各 个 层面 上 经 反射 和 

折射 后 才 最 后 到 达 视 网 膜 。 

在 视网膜 上 有 一 个 非常 特殊 的 小 区 域 ， 称 之 为 小 止 。 上 面 集中 了 绝 大 部 分 对 颜色 敏感 的 
细胞 。 并 且 ， 人 对 景物 细节 的 感知 也 全 依赖 于 它 。 小 凹 的 位 置 并 不 是 准确 地 位 于 由 眼球 和 瞳 
孔 中 心 所 确定 的 光 轴 上 。 眼 睛 的 光 轴 被 称 为 视线 和 
(Line of Gaze, LoG) ， 而 把 自 小 止 穿 过 瞳孔 中 心 的 线 B 
称 为 视觉 线 (Line of Sight, LoS) 。 正 是 视觉 线 而 非 
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视线 决定 了 人 的 视觉 关注 。 如 果 可 以 估计 视线 或 视 “ PE 
rds TES i POSER | | 
觉 线 的 方向 并 且 掌 握 景 物 的 信息 ， 那 么 关注 点 就 是 ”BM Ed 
由 离 视 线 和 视觉 线 交叉 点 最 近 的 景物 来 确定 。 A 


(1) 球面 像 差 A B. CASINA. B. CHR, CHE 
NL UMS N cn JE] Y v E, à ` ` B B H i 
光学 透镜 周边 的 届 光 力量 要 比 中 央 部 强 ， 因 此 接近 光 轴 的 C 所 成 的 像 ， 离 透镜 最 远 ，A 


经 过 光学 透镜 周边 部 分 的 光线 比 中 央 部 分 的 光线 形 为 由 透镜 边 纤 的 光 所 成 的 像 ， 离 透镜 最 近 ， 
成 的 焦点 更 靠近 透镜 ， 这 种 现象 称 为 球面 像 差 。 如 mi2 sm 
图 1.2 所 示 ， 光 A 的 焦点 A' 要 比 光 B 的 焦点 B' 更 靠 
近 透 镜 。 因 此 ， 光 学 成 像 系 统 后 的 任何 焦点 都 不 是 一 个 锐利 的 点 ， 而 是 一 个 小 的 光斑 。 

(2) 色 像 差 

如 图 1.3 所 示 ， 白 光 是 由 很 多 不 同 波长 的 光 所 组 成 。 白 光 通过 三 棱镜 可 产生 分 光 现 象 ， 
成 为 红 、 橙 、 黄 、 绿 、 青 、 蓝 、 紫 七 色光 谱 。 不 同 波长 的 光 经 过 届 光 介质 时 ， 短 波光 传播 比 
较 慢 ， 因 此 在 透镜 内 行程 中 的 弯曲 程度 要 比 长 波 的 光大 ， 所 以 短波 中 的 蓝光 要 在 长 波 中 的 红 
光 之 前 形成 焦点 。 这 种 现象 称 为 色 像 差 ， 色 像 差 可 以 降低 视网膜 成 像 的 清晰 度 。 

(3) 周边 像 差 

由 于 眼睛 受到 某 些 光学 因素 的 影响 ， 使 视网膜 
周边 部 的 像 总 是 不 如 中 心 四 成 像 清楚 ， 这 种 现象 称 PU 
为 周边 像 差 。 

然而 ， 眼 睛 也 通过 各 种 机 制 来 减少 这 些 缺 陷 的 
影响 。 为 了 减少 球面 像 差 ， 虹 膜 被 用 来 遮挡 周边 部 
位 的 大 部 分 光线 ， 所 以 球面 像 差 影响 并 不 明显 。 为 ”短波 的 蓝光 先 聚 焦 ， 长 波 的 红 光 后 聚焦 
了 克服 色 像 差 ， 眼 睛 致力 于 制造 中 间 波 长 的 高 质量 Kis CR 
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图 像 。 为 了 匹配 周边 像 差 .视网膜 的 表面 呈 弯 曲 状 ,使 得 眼睛 的 光学 系统 非常 接近 于 理想 光 
BRUT, 


1.2.2 视网膜 


视网膜 的 作用 相当 于 照相 机 的 感光 底片 或 摄像 机 的 光电 转换 器 件 ， 主 要 用 来 感光 成 像 。 
当 人 们 看 东西 时 ， 物 体 的 光线 通过 眼球 光学 系统 ， 成 像 在 视网膜 上 。 

视网膜 居于 眼球 壁 的 内 层 ， 是 一 层 透明 的 薄膜 ， 厚度 约 200 ~300km， 是 大 脑 的 延伸 部 
分 ,也 是 视觉 形成 的 起 点 。 视 网 膜 由 色素 上 皮层 和 神经 感觉 层 组 成 。 色 素 上 皮层 与 脉络 膜 紧 
密 相连 ， 由 色素 上 皮 细 胞 组 成 。 它 们 具有 支持 和 营养 光 感 受 器 细胞 ， 并 起 到 遮光 、 散 热 及 再 
生 和 修复 等 作用 。 神 经 感觉 层 共 分 为 9 层 ， 又 称 为 视网膜 的 内 9 层 ， 由 外 向 内 依次 分 别 是 视 
锥 ， 视 杆 细胞 层 ， 外 界 膜 ， 外 颗粒 层 ， 外 从 状 展 ， 内 颗粒 层 ， 内 丛 状 展 ， 神 经 节 细 胞 层 ， 神 
经 纤维 层 ， 内 界 膜 。 

(1) 视网膜 色素 上 皮层 (Retina Pigment Epithelium, RPE) 

由 单 层 排列 整齐 的 六 面 柱 形 细胞 组 成 。 每 只 眼睛 约 有 4 ~6 百 万 个 RPE 细胞 。 在 眼底 的 
不 同 区 域 ，RPE 细胞 的 形态 不 同 。 后 极 部 特别 是 黄斑 区 ，RPE 细胞 细 长 而 均匀 ， 色 素 较 多 。 
靠近 锯齿 边缘 处 的 REP 细胞 较为 短 肥 ， 色 素 亦 逐渐 减少 。 

(2) 椎 体 与 杆 体 层 
痊 椎 动物 的 光 感 受 器 在 结构 上 由 内 段 、 外 段 、 连 接 绒 毛 、 体 部 和 突 触 五 部 分 组 成 。 锥 体 
与 杆 体 层 由 光 感 受 器 的 外 段 和 部 分 内 段 组 成 。 根 据 外 段 的 形态 不 同 ， 光 感受 器 分 为 视 锥 细胞 
和 视 杆 细胞 。 成 年 人 每 只 眼睛 的 视 锥 细胞 约 有 6 百 万 个 ， 视 杆 细胞 约 有 1. 2 亿 个 。 

(3) 外 界 膜 

由 光 感 受 器 之 间 、 光 感受 器 与 Muller 细胞 ， 以 及 Muller 细胞 之 间 的 粘连 小 带 构成 。 

(4) 外 核 层 

由 光 感 受 器 的 细胞 体 组 成 ， 含 细胞 核 和 细胞 质 。 视 盘 鼻 侧 外 核 层 较 厚 ， 有 八 九 层 细胞 
核 ， 越 靠近 周边 ， 细 胞 核 层 数 越 少 。 视 盘 杜 侧 周边 的 视网膜 ， 外 核 层 最 薄 ， 只 有 4 层 。 黄 斑 
mop E 10 层 ， 其 他 部 位 只 有 5 层 。 

(5) 外 从 状 层 

由 光 感 受 器 伸 出 的 轴 突 与 双 极 细胞 和 水 平 细 胞 的 突起 相互 连接 的 突 触 构成 的 疏松 网 状 结 
构 。 视 网 膜 的 毛细 血管 至 此 为 止 ， 不 再 伸 向 外 核 层 。 黄 斑 的 外 从 状 展 较 厚 ， 该 处 的 视 锥 细胞 
的 轴 突 最 长 且 走 行 方向 倾斜 ， 基 本 与 外 界 膜 平行 ， 呈 放射 状 的 排列 ， 称 为 Henle 纤维 层 。 黄 
斑 以 外 的 外 丛 状 展 逐 渐变 薄 。 

(6) 内 核 层 

内 核 层 有 四 种 细胞 ， 从 外 至 内 依次 为 水 平 细 胞 、 双 极 细 胞 、Muller 细胞 及 无 长 突 细 胞 。 
这 些 细 胞 的 树 突 或 轴 突 分 别 向 上 、 向 下 伸展 至 内 、 外 从 状 层 。 而 Muller 细胞 的 凸 起 则 分 布 于 
视网膜 各 层 ， 起 支持 作用 。 

(7) 内 从 状 层 

内 从 状 层 较 外 从 状 层 厚 ， 为 内 核 层 的 双 极 细胞 和 无 长 突 细胞 与 神经 节 细 胞 的 树 突 连 接 而 
成 的 从 状 结构 。 

(8) 神经 节 细 胞 层 
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主要 由 神经 节 细 胞 组 成 ,还 有 Muller 细胞 、 神 经 胶 质 细胞 及 视网膜 血管 分 支 。 在 视网膜 
的 绝 大 部 分 区 域 ， 神 经 节 细 胞 仅 为 一 层 ， 而 在 视盘 (也 叫 视 乳 头 ) 的 杜 侧 则 为 两 层 ， 在 黄 
斑 区 为 8 ~10 层 。 向 黄斑 中 心 凸 方向 ， 神 经 节 细 胞 明显 减少 ， 中 心目 处 则 几乎 无 神经 节 细 
胞 。 

(9) 神经 纤维 层 

神经 节 细 胞 的 轴 突 不 分 支 ， 其 轴 突 沿 视网膜 平行 行走 而 构成 神经 纤维 层 。 除 神经 纤维 
外 ， 还 有 Muller 纤维 、 神 经 胶 质 细胞 和 丰富 的 视网膜 血管 。 

(10) 内 界 膜 

由 Muller 细胞 的 基层 膜 及 胶 质 细胞 的 突起 组 成 ， 厚 约 1 ~2um， 随 着 年 龄 增 大 逐渐 增 
厚 。 它 靠近 玻璃 体 的 内 表面 ， 十 分 光滑 ， 近 视网膜 一 侧 因 Muller 细胞 凸 起 的 延伸 不 同 而 起 伏 
SE 














1.2.3 视 束 和 视 沉 通道 

视觉 通道 是 由 视网膜 的 视 细胞 接受 外 界 的 光 刺 激 后 ， 将 视 信 息 传递 到 神经 节 细 胞 ， 然 后 
汇集 到 视神经 ， 由 视神经 进入 颅 内 形成 视 交 又 ， 再 由 视 交 又 左 右 分 开 成 为 视 束 ， 再 由 视 束 到 
视 放射 ， 最 后 终止 于 大 脑 皮层 枕 叶 的 视 中 枢 09] 。 





1.3 视觉 


1.3.1 颜色 视觉 


视网膜 位 于 眼睛 的 后 方 ， 是 构成 视觉 的 重要 部 分 。 视 网 膜 的 主要 功能 是 接收 并 向 大 脑 传 
输 图 像 信 号 ， 而 执行 这 些 功能 的 细胞 主要 有 两 种 : 视 杆 细胞 和 视 锥 细胞 。 在 黄斑 中 央 凹 处 只 
有 视 锥 细胞 ， 无 视 杆 细胞 。 在 中 央 四 的 边缘 才 开 始 有 视 杆 细胞 。 再 向 外 ， 视 杆 细胞 逐渐 增 
多 ， 视 锥 细胞 则 逐渐 减少 。 视 杆 细 胞 和 视 锥 细胞 主要 完成 感光 功能 ， 其 中 视 杆 细胞 的 数量 是 
视 锥 细胞 的 18 倍 。 视 杆 细胞 对 弱 光 敏感 (可 感受 到 一 个 光子 )， 主 要 负责 在 昏暗 环境 中 产 
生 暗 视觉 ， 但 只 能 辨别 明暗 ， 不 能 分 辩 物 体 的 细节 和 颜色 。 视 锥 细胞 感受 强 光 和 颜色 ， 产 生 
明 视 觉 ， 对 物体 细节 和 颜色 分 辨 能力 强 。 

视 杆 细胞 和 视 锥 细胞 接收 到 的 信息 随后 被 传送 给 视网膜 上 的 近 1 百 万 个 节 细 胞 。 这 些 节 
细胞 将 来 自视 杆 细胞 和 视 锥 细胞 的 信息 通过 视神经 发 送 到 大 脑 。 

人 类 每 个 眼球 的 视网膜 内 约 有 6 ~7 百 万 个 视 锥 细胞 ， 视 锥 细胞 有 三 种 ， 它 们 分 别 含 有 
对 红 、 绿 、 蓝 三 种 光敏 感 的 感光 色素 。 三 种 感光 色素 均 由 视 黄 醛 和 视 和 蛋白 构成 ， 其 中 视 黄 醛 
基本 相同 ， 主 要 不 同 在 于 视 和 蛋白 结构 中 存在 微小 差异 ， 因 而 它们 对 色光 的 敏感 性 也 存在 差 
别 。 色 光 引 起 色觉 ， 这 是 一 种 复杂 的 物理 和 心理 现象 。 根 据 三 原色 原理 解释 色觉 的 机 制 认 
为 : 不 同 的 色光 作用 于 视网膜 时 ， 三 种 视 锥 细胞 产生 了 不 同 程度 的 兴奋 ， 这 种 兴奋 信息 经 处 
理 后 转化 为 不 同 组 合 的 视神经 冲动 ， 传 到 大 脑 皮层 就 产生 不 同 的 色觉 。 例 如 ， 红 、 绿 、 蓝 三 
种 视 锥 细胞 兴奋 程度 的 比例 为 4:1:0 时 ,产生 红色 色觉 ;比例 为 2:8:1 时， 产生 绿色 色觉 。 
人 有 眼 可 分 辨 波长 在 380 ~760nm 的 约 150 fh (e, 。 
































1.3.2. 立体 视觉 1 


立体 视觉 是 人 类 对 三 维 空间 各 种 物体 的 远近 、 凸 止 和 深浅 的 感知 能 力 ， 是 双眼 视觉 的 高 
级 形式 … 。 人 有 眼 为 保证 立体 视觉 的 建立 有 三 大 机 能 和 三 级 视 功 能 。 三 大 机 能 为 感觉 机 能 、 
运动 机 能 和 整合 机 能 。 三 级 视 功 能 为 同时 知觉 、 融 合 功能 和 运动 立体 视觉 ”1 。 其 中 三 大 机 
能 的 具体 功能 如 下 : 

(1) 感觉 机 能 

感觉 机 能 的 主要 功能 是 接收 外 界 刺激 ， 包 括 物体 形状 、 颜 色 及 影像 刺激 方位 。 感 觉 机 能 
是 人 眼 最 原始 、 最 基本 的 机 能 ， 也 就 是 人 眼 具有 看 的 机 能 。 

(2) 运动 机 能 

运动 机 能 的 主要 功能 是 外 眼 肌 运 动 协 同 作 用 能 力 ， 除 此 之 外 调节 作用 和 瞳孔 反应 也 属于 
运动 机 能 的 范畴 ， 它 们 之 间 有 着 密切 的 关系 。 运 动机 能 的 作用 是 跟踪 目标 ,使 由 双眼 视 轴 焦 
点 形成 的 注视 方向 始终 停留 在 目标 上 ， 维 持 正常 的 视差 。 外 有 眼 肌 的 运动 包括 同 向 运动 和 蜡 向 
运动 两 种 。 同 向 运动 作用 是 跟踪 远 目 标 ， 此 时 双眼 的 运动 是 同时 疝 相 同 的 方向 运动 。 异 向 运 
动 的 作用 是 跟踪 不 同 距 离 的 目标 ， 双 眼 的 运动 方向 是 向 相反 的 方向 运动 。 由 远 向 近 注 视 的 运 
动 过 程 称 为 集合 ， 而 由 近 向 远 注 视 的 运动 过 程 称 为 散 开 。 异 向 运动 与 调节 和 瞳孔 反应 有 着 密 
切 的 关系 ， 它 们 被 称 为 三 联动 。 此 外 瞳孔 反应 还 与 光线 的 强度 有 关 。 

(3) 整合 机 能 

整合 机 能 的 主要 功能 是 在 正常 的 运动 机 能 作用 下 ， 将 双眼 所 收集 到 的 正确 视觉 信号 ， 通 
过 大 脑 的 作用 组 合成 完整 的 视觉 信息 "| 。 

为 保证 立体 视觉 ， 人 眼 的 三 级 视 功 能 分 别 如 下 : 

(1) 同时 知觉 

视觉 中 枢 能 同时 感受 落 在 视网膜 及 双眼 黄斑 上 的 像 刺 激 。 这 种 同时 知觉 需要 正常 的 感觉 
机 能 来 保证 。 

(2) 融合 功能 

双眼 看 到 的 像 能 够 准确 重 琶 ， 即 使 在 一 定 程度 上 改变 双眼 注视 角度 ， 在 眼 肌 参与 运动 反 
应 的 条 件 下 仍 能 准确 重合 。 这 种 功能 需要 正常 的 运动 机 能 和 整合 机 能 来 保证 。 融 合 功能 分 为 
三 级 融合 : 第 一 级 重合 视 ， 不 相似 的 物体 同时 投射 于 两 眼 视觉 相等 的 位 置 上 ,通过 大 脑 的 整 
合 形成 单一 的 完整 影像 ， 第 二 级 融合 视 ， 单一 影像 同步 反映 于 视觉 知觉 上 ， 成 为 视 轴 目 标 ， 
形成 单一 影像 ， 第 三 级 立体 视 ， 融合 部 分 相似 但 不 相同 或 部 分 完全 不 同 的 目标 而 产生 立体 
视 ， 形 成 三 维 空间 。 

(3) 运动 立体 视觉 

在 时 间 的 参与 下 产生 运动 立体 视觉 ”| 。 

人 类 用 两 只 眼睛 观察 事物 ， 双 眼 的 共同 活动 提供 了 对 方向 和 深度 进行 信息 加 工 这 一 特殊 
功能 的 生理 基础 。 在 观察 外 界 事物 时 ， 每 只 眼 都 形成 单独 的 影像 ， 双 眼 视 像 经 大 脑 的 信息 加 
工 处 理 。 形 成 双眼 立体 影像 。 人 类 对 物体 方向 的 判断 ， 是 以 双眼 睛 连 线 的 中 点 处 为 依据 。 此 
点 的 正 前 方 方 向 线 是 人 类 判断 方向 的 依据 ， 其 他 视网膜 上 相应 点 的 视觉 方向 都 以 这 个 方向 为 
基准 来 判定 偏 移 方向 和 距离 。 形 成 立体 视觉 的 基础 是 双眼 单 视 ， 双 眼 单 视 与 两 眼看 物体 有 着 
本 质 的 不 同 。 当 两 眼 注 视 空间 的 某 一 点 时 ， 两 眼 视 轴 将 集合 于 该 点 ， 同 时 该 点 作用 于 双眼 视 
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网 膜 的 相应 点 上 ， 并 引起 视觉 兴奋 ， 产 生 双 眼 的 单一 视觉 ， 简 称 双眼 单 视 。 形 成 双眼 单 视 必 
须 符 合 以 下 条 件 ; 

1) 每 一 只 眼睛 必须 有 优良 的 单眼 成 像 能 

2) 两 眼 视 场 必须 在 一 个 大 的 范围 内 重 释 ; 

3) 每 个 眼睛 的 视网膜 上 须 形成 大 致 相似 的 图 像 ; 

4) 视网膜 上 必须 有 生理 相应 点 ; 

5) 神经 与 肌肉 组 织 控制 着 眼睛 运动 及 产生 融合 运动 的 反射 活动 。 

眼睛 时 刻 处 于 复杂 机 构 的 协调 下 ， 保 证 具有 正常 视觉 方向 的 视网膜 总 是 接收 同样 的 图 
像 。 立 体 视觉 是 双眼 单 视 三 级 功能 (同时 感觉 、 融 合 感觉 、 立 体感 觉 ， 中 的 最 高 级 视 功 能 ， 
它 的 形成 是 由 于 两 眼 对 空间 某 一 物体 具有 相对 性 双眼 视差 。 在 观察 三 维 物体 时 ， 由 于 两 眼 之 
间 存 在 65mm 左右 的 距离 ， 所 以 左右 眼 以 各 自 的 角度 观察 物体 ， 双 眼 视网膜 上 感受 的 刺激 是 
不 完全 相同 的 ， 这 种 视觉 差异 称 为 双眼 视差 。 两 眼 视网膜 不 完全 相应 部 位 感受 刺激 并 产生 兴 
奋 ， 经 视觉 通路 传 到 大 脑 皮层 ， 就 产生 了 立体 知觉 。 

如 图 1.4 所 示 ， 人 有 眼 注视 平面 上 的 一 个 点 ， 在 左右 眼 
视网膜 上 的 投影 分 别 为 和 Fr,， 它 们 分 别 位 于 两 眼 视网膜 
的 对 称 点 上 。 比 点 近 的 一 个 点 B 在 左右 视网膜 上 的 投影 - 
分 别 为 B 和 B， 它 们 分 别 位 于 两 眼 视网膜 的 非 对 称 点 上 。 
F n B 在 左 眼 视网膜 影像 之 间 的 距离 (B, 和 F, 之 间 的 距 
B) 大 于 它们 在 右 眼 视 网 膜 影像 之 间 的 距离 (B, 和 Fi 之 
间 的 距离 )。 这 就 是 和 8B 的 相对 双眼 视差 ,通常 表示 为 两 
物体 所 形成 的 辐 合 角 的 差 值 ， 即 BiBB, - ZF FFeo RF 
的 视差 定义 为 零 视差 。 比 点 (位 于 注视 面 上 ) 离 观察 者 近 所 
的 点 (如 点 B) 相对 于 点 正之 间 的 视差 称 为 交叉 视差 。 反 
之 ， 如 果 一 个 点 比 注视 平面 上 的 物体 离 观 察 者 远 (如 点 A), 
这 时 的 视差 称 为 非 交 叉 视 差 。 

由 上 述 分 析 可 知 ， 双 了 眼 视差 不 但 有 大 小 之 分 ， 而且 还 有 不 同 的 种 类 ， 即 零 视差 、 交 叉 视 
差 、 非 交叉 视差 。 双 了 眼 视差 提供 了 物体 之 间 的 相对 深度 信息 ， 是 产生 立体 感知 的 一 种 重要 线 
- uui 


1.3.3 临时 视觉 


视觉 的 持续 性 说 明了 人 类 视觉 运动 不 同 的 响应 特征 。 视 觉 的 持续 性 描述 了 人 类 视觉 系统 
的 临时 采样 频率 。 

视觉 的 持续 性 说 明 视网膜 不 能 识别 高 频率 采样 的 图 像 ， 人 有 眼 对 频率 大 约 为 50 ~ 60Hz 的 
刺激 闪光 感觉 是 稳定 的 ， 这 个 频率 称 为 临界 融合 频率 (Critical Fusion Frequency, CFF), 
CFF 解释 了 人 了 眼 对 高 频率 显示 图 像 响 应 的 局 限 性 。 当 图 像 以 24 Wis 的 速度 播放 时 ， 三 叶 快 
门 提 供 的 闪烁 频率 能 达到 72Hz， 因 此 人 们 能 够 看 清 电 影 。 电 视 以 60 张 /s 的 频率 播放 画面 达 
到 了 临界 融合 频率 ， 类 似 采 用 三 叶 快 门 的 电影 。 电 视 采取 了 隔行 扫描 技术 ， 典 型 的 电视 帧 速 
率 是 30 帧 /s， 但 是 在 每 一 轮 扫 描 过 程 中 只 有 奇数 行 或 者 偶数 行 能 够 在 画面 中 显示 出 
来 。 
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人 的 眼睛 并 不 是 一 种 完善 的 记录 工具 ， 因 为 视网膜 反应 并 不 能 随 闪 光 开 始 而 立即 开始 ， 
也 不 能 随 内 光 停 止 而 立即 停止 。 事 实 上 ， 在 刺激 的 开始 和 终止 时 ， 都 存在 着 视网膜 的 时 延 。 
在 断 续 的 照明 下 ， 视 网 膜 时 延 的 存在 ， 对 人 类 视觉 是 有 利 的 ， 使 人 们 在 内 烁 照明 下 能 够 稳定 
地 看 清 物体 。 如 果 人 眼 没有 视网膜 延 时 ， 视 网 膜 的 反应 完全 是 实时 的 ,那么 在 日 常生 活 中 交 
流 电灯 的 照明 下 ， 人 们 会 感觉 任何 物体 都 是 闪烁 的 。 

人 们 在 电影 银幕 上 看 到 的 物体 运动 ， 其 实 是 由 影片 上 一 系列 略 有 区 别 的 静止 画面 产生 
的 ， 这 种 运动 叫 动 景 运动 。 在 黑 上 暗中， 如 果 注 视 一 个 细小 的 光 点 ， 人 们 会 感觉 到 它 来 回 冉 
动 ， 这 叫 自主 运动 。 在 锻 月 当空 的 夜晚 ， 人们 感觉 月 亮 在 “静止 ”的 云 条 后 徐徐 移动 ， 这 
种 运动 感觉 是 由 于 云 朱 的 萄 动 诱发 产生 的 ， 因 而 叫 诱发 运动 。 在 注视 了 倾 海 而 下 的 瀑布 以 
后 ， 如 果 将 目光 转向 周围 的 田野 ， 人 们 会 觉得 田野 上 的 景物 都 在 向 上 飞升 ， 这 叫 运 动 后 效 。 
上 述 这 些 现 象 ， 人 们 看 到 的 运动 都 不 是 物体 的 真正 位 移 !” 。 


























1.4 人 有 眼 运动 


眼球 的 运动 主要 是 由 外 眼 肌 动作 支配 眼球 成 像 对 焦 机 构 来 完成 的 ， 使 目标 能 够 正确 落 在 
视网膜 的 中 心 区 域 ， 青 经 过 视 传 导 路 径 在 大 脑 皮 质 形 成 影像 。 眼 球 的 运动 可 分 为 以 下 儿 个 基 
本 形态 : 平稳 跟随 运动 、 扫 视 运 动 、 固 视 微 动 和 眼球 振 颤 。 


1.4.1 控制 眼球 运动 的 肌肉 


眼球 上 下 左右 方向 的 运动 是 由 三 对 肌肉 控制 的 ， 三 对 肌肉 的 协同 活动 能 使 眼球 以 角膜 项 
端 后 方 13. 5mm 处 为 中 心 转动 。 每 对 眼 肌 控制 眼球 在 一 个 平面 上 转动 。 这 三 对 肌肉 是 ， 内 直 
肌 和 外 直 肌 、 上 直 肌 和 下 直 肌 、 上 和 斜 肌 和 下 和 斜 肌 。 内 直 肌 和 外 直 肌 收缩 ， 眼球 向 内 外 方向 转 
动 ; 上 直 肌 收缩 ， 眼 球 向 上 内 方向 转动 ， 下 直 肌 收缩 ， 眼 球 向 下 内 方向 转动 ; 下 斜 肌 收 缩 ， 
眼球 向 上 外 方向 转动 ， 上 和 斜 肌 收 缩 ， 眼 球 向 下 外 方向 转动 。 这 三 对 肌肉 的 活动 紧密 配合 ， 当 
眼球 向 一 个 方向 移动 时 ， 除 有 关 肌 肉 收缩 外 ， 其 他 肌肉 ， 特 别 是 相对 称 的 肌肉 必须 同时 放 
松 ， 这 样 才 能 保证 眼球 的 自由 活动 。 例 如 ， 眼 球 向 上 方 转动 时 ， 上 直 肌 和 下 和 斜 肌 同时 收缩 ， 
下 直 肌 和 上 和 斜 肌 要 相应 地 放松 ， 同 时 内 直 肌 和 外 直 肌 亦 须 做 适当 的 放松 配合 。 


1.4.2 平稳 跟随 运动 


平稳 跟随 运动 也 称 跟随 运动 ， 或 眼 追 迹 运动 。 这 是 一 种 慢 速 的 眼 劲 ， 所 以 也 可 叫 慢 速 跟 
踪 运 动 。 跟 随 一 个 缓慢 而 平稳 运动 目标 时 的 眼 动 ， 叫 做 平稳 跟踪 运动 。 此 时 眼球 运动 与 目标 
物 的 运动 之 间 ， 保持 一 种 固定 关系 。 

眼球 跟踪 运动 是 因 注 视 对 象 运 动 的 刺激 而 产生 的 ， 至 于 扫 视 运动 则 因 注 视 对 象 与 视线 方 
向 之 间 的 背离 而 引起 的 。 这 两 种 运动 成 分 产生 的 原因 不 同 ， 其 产生 的 生理 结构 也 有 区 别 。 在 
观察 对 象 静 止 的 情况 下 ， 不 出 现 跟踪 运动 。 例 如 ， 读书 或 看 静止 的 画面 , 都 是 由 扫 视 运动 实 
现 的 。 

跟随 运动 的 速度 最 高 可 达 30m/s， 比 之 扫 视 运动 是 较 慢 的 速度 。 如 运动 的 物体 超过 此 
值 ， 在 眼睛 追 不 上 的 情况 下 ， 为 了 补偿 这 种 误差 ， 则 出 现 扫 视 运动 。 

跟踪 运动 是 由 前 枕 叶 控制 的 。 右 侧 枕 叶 负 责 向 左 跟 踪 ， 左 侧 枕 叶 负 责 向 右 跟 踪 ， 双 侧 枕 
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叶 活动 支配 垂直 性 跟踪 。 文 配水 平 跟踪 运动 的 神经 路 径 一 半 来 自 对 侧 ， 再 从 枕 叶 到 脑 干 网 状 
结构 ， 大 部 分 在 第 三 和 第 四 神经 核 平 面 交叉 ， 然 后 终止 于 脑 凝 视 中 枢 。 文 配 垂 直 跟 踪 运 动 的 
神经 路 径 从 枕 叶 下 降 ， 经 内 矢 状 展 和 视 丘 后 结 节 到 达 前 四 过 体 区 。 


1.4.3 扫 视 


扫 视 运动 (Saccadic Movement) 是 一 种 速度 很 快 的 跳跃 式 眼 动 。 扫 视 运 动 也 叫 飞 跃 运 
动 、 跳 跃 运动 或 冲动 性 眼 动 。 当 眼球 从 某 个 目标 上 移动 去 注视 另 一 个 目标 时 ， 就 出 现 了 扫 
视 ， 扫 视 能 很 快 地 把 新 目标 投入 视网膜 的 中 央 凹 上 。 扫 视 运 动 是 随意 和 运动。 研究 表明 从 刺激 
开始 到 出 现 扫 视 运动 的 潜伏 期 为 150 ~ 200ms。 正 常情 况 下 ， 其 速度 为 (600° ~700°) /s, 
最 高 可 达 1000°/s。 持 续 时 间 一 般 为 10 ~80ms。 扫 视 运动 是 非常 精确 的 运动 ， 正 常情 况 下 往 
往 会 出 现 落后 于 目标 或 超过 目标 的 现象 。 

扫 视 运动 可 能 发 生 在 以 下 几 种 情况 : 如 果 是 运动 的 物体 ， 当 所 注视 的 对 象 和 视线 之 间 发 
生 分 离 ， 视 标 从 视野 中 消失 时 ， 眼 球 就 快速 校正 或 补正 ， 使 视 标 回 到 原来 位 置 ， 如 果 是 静止 
的 物体 ， 当 眼睛 从 一 个 注视 点 跳 到 另 一 个 注视 点 也 会 出 现 扫 视 运动 。 

扫 视 运动 持续 的 时 间 随 运动 角度 的 大 小 而 变化 。 运 动 角度 愈 大 ， 时 间 就 愈 长 。 但 扫 视 运 
动 的 最 高 速度 常常 是 一 定 的 ， 并 不 取决 于 运动 角度 的 大 小 。 扫 视 运 动 的 幅度 非常 小 ， 约 为 1 
弧 分 ， 其 频率 的 主要 成 分 范围 在 80 ~ 120Hz。 超 过 80ms 以 上 的 较 大 的 扫 视 运动 ， 常 常 要 畏 
以 头 动 ， 而 且 眼 动 与 头 动 的 方向 一 致 。 除 特殊 情况 外 ， 扫 视 运 动 一 般 在 0.2s 内 。 在 正常 情 
况 下 ， 看 静止 图 像 时 ， 人 视线 的 移动 不 是 缓慢 的 而 是 扫描 式 的 。 从 扫描 运动 开始 前 约 50ms 
到 终止 期 ， 视 觉 机 能 显著 降低 ， 这 种 情况 称 作 扫 视 性 抑制 。 看 静止 图 像 时 ， 视 线 在 某 一 点 上 
停留 的 时 间 ， 经 测定 为 0.2 ~ 0.4ms。 之 后 再 移 向 另 一 点 ， 以 便 充 分 看 清 物体 。 这 也 是 注视 
点 所 要 求 的 时 间 。 扫 视 运动 是 能 连续 不 断 处 理 信息 的 。 不 过 一 旦 有 眼 动 确 实 发 生 ， 其 运动 输出 
对 刺激 改变 有 很 大 抗拒 。 这 时 在 整个 扫 视 过 程 中 视 冰 增 加 ， 视 敏感 度 和 接收 性 减弱 。 


1.4.4 [Ez 


人 有 眼 视线 停留 在 一 点 上 进行 固 视 时 ， 在 无 意识 的 情况 下 眼睛 仍然 不 断 地 有 微小 运动 。 这 
种 情况 称 为 固 视 微 动 。 因 为 这 种 形式 的 眼 动 具 有 维持 眼球 位 置 的 作用 , 故 又 称 位 置 维持 系 
统 。 固 视 微 动 维持 对 目标 的 凝视 ,或 使 视线 凝视 于 某 一 特殊 位 置 。 按 运动 的 大 小 、 速 度 快慢 
和 频率 高 低 固 视 微 动 还 可 以 区 分 为 下 列 三 种 : 

(1) 微细 闪 动 

微细 闪 动 即 快速 微 动 ， 亦 可 称 微细 扫 视 运动 ， 又 可 叫 晃 动 。 这 是 一 种 以 0.03 ~0.05s 的 
时 间 间 隔 ， 约 在 20' 的 视角 内 ， 呈 跳跃 式 锯齿 状 或 是 脉冲 状 的 不 规则 的 眼 动 。 其 幅度 约 为 反 
射 光 的 1~3 倍 ， 持 续 时 间 约 为 0.01 -0.02s, 频率 为 (0.2 ~0.3)°/s。 

(2) 微细 漂 动 

即 慢 速 微 动 ， 出 现 于 上 述 的 微细 闪 动 之 间 ， 亦 称 为 漂移 运动 。 它 是 视角 在 5' 以 下 非常 小 
的 慢 速 摆动 ， 其 速度 为 6'/s， 双 眼 在 这 种 微 动 中 并 无 固定 关系 。 

(3) 微细 抖动 

这 种 眼 动 亦 可 称 为 微细 赢 动 。 这 是 一 种 振幅 约 为 视角 15' 左 右 、 具 有 30 ~ 100Hz 频率 成 
分 的 微小 运动 。 
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固 视 微 动 的 皮层 中 枢 为 额 区 和 枕 顶 区 。 枕 区 的 作用 是 维持 对 某 个 特定 目标 的 凝视 。 
1.4.5 眼球 振 颤 


眼球 振 颤 分 为 两 种 ， 一 种 是 前 庭 性 眼 振 ， 另 一 种 是 视 动 性 眼 振 。 前 庭 性 眼 振 是 有 快 相 和 
慢 相 的 节律 性 眼 动 。 通 常 将 快 相 振 闸 方 向 定义 为 眼 振 的 方向 。 眼 振 是 在 前 庭 器 官 受 到 刺激 或 
受到 一 定 程度 的 损害 时 出 现 的。 如 当 身 体 和 头 部 进行 运动 , 或 身体 不 动 而 只 是 头 部 做 各 种 运 
动 时 ， 出 现 前 庭 性 眼 振 。 前 庭 性 眼 振 的 表现 形式 有 水 平 型 、 垂 直 型 、 斜 行 型 、 旋 转型 及 上 述 
各 种 的 混合 形式 ， 前 庭 性 眼 振 的 慢 相 是 前 庭 系 统 引 起 的 ， 而 其 快 相 则 是 由 网 状 结构 激发 出 来 
的 。 

视 动 性 眼 振 是 由 水 平 性 和 垂直 性 移动 诱发 出 来 的 。 视 动 性 眼 振 的 两 个 快 相 之 间 的 最 短 时 
间 约 为 200ms， 而 眼 动 的 最 小 频率 约 为 5SHzl5l 。 














1.5 双眼 视觉 


人 类 观看 物体 时 ， 两 眼 同时 看 一 个 物体 ， 左 右 两 眼 的 视野 有 大 部 (或 一 部 分 ) 彼此 重 
全 ,这 种 视觉 方式 称 为 双眼 视觉 。 而 有 些 动物 ， 如 鸟 类 及 马 等 ， 两 只 眼睛 在 头 的 两 人 出 ， 观 看 
物体 时 左 、 右 眼 的 视野 不 重合， 这 种 视觉 方式 称 为 单眼 视觉 。 双 眼 视觉 的 优点 是 视野 比 单眼 
要 大 ， 能 够 判断 物体 距离 眼睛 的 远近 和 物体 的 大 小 从 而 获得 立体 视觉 效果 。 双 眼 视 觉 可 使 同 
一 物体 的 物 像 分 别 成 像 在 左 、 右 两 眼 的 视网膜 上 ， 但 两 像 并 非 完 全 相同 。 在 注视 一 个 物体 
时 ， 物 像 除 同 时 落 在 两 眼 视网膜 的 中 央 凹 处 (为 相称 点 ) 外 ， 也 落 在 两 眼 视网膜 的 其 他 区 
域 。 若 物体 在 人 的 前 右 方 ， 则 在 左 眼 视网膜 上 物 像 的 位 置 偏 于 杜 侧 ， 而 在 右 眼 视网膜 上 物 像 
的 位 置 偏 于 鼻 侧 ， 这 两 个 部 位 是 功能 上 的 “相称 点 ”。 如 物 像 不 在 两 眼 的 “相称 点 ”上 ， 则 
可 能 产生 复 视 〈 即 显 重 影 ) 。 两 眼 视网膜 上 的 “相称 点 ”同时 受到 刺激 时 ， 经 中 枢 分 析 成 为 
一 个 物体 。 相 称 点 的 建立 是 后 天 学 习 得 来 的 ， 是 可 以 改变 的 。 


























1.6 视野 与 视 敏 度 





当 眼 球 固定 不 动 时 ,一 只 眼睛 所 能 看 到 的 全 部 空间 范围 ， 称 为 视野 。 用 视野 计 可 以 测量 
出 人 每 个 眼睛 的 视野 ， 用 图 纸 记 录 下 来 ， 就 称 为 视野 图 。 视 野 的 大 小 主要 取决 于 视网膜 的 结 
构 及 感光 细胞 在 视网膜 上 分 布 的 区 域 等 因素 。 此 外 视线 被 迹 挡 也 影响 视野 范围 。 如 视野 的 并 
侧 是 由 于 鼻梁 让 项 了 一 部 分 视线 而 变 得 较 小 ， 而 匡 侧 视 野 则 较 大 。 视 野 图 表示 的 是 被 人 眼看 
到 的 面积 范围 ， 因 而 是 与 视网膜 的 方向 相反 的 。 如 视野 图 的 须 侧 部 分 成 像 于 鼻 侧 的 视网膜， 
视野 团 的 上 下 方位 也 与 视网膜 成 像 部 位 相反 。 视 野 中 ， 有 颜色 觉 部 分 与 无 颜色 觉 部 分 相差 很 
大 。 因 为 ， 视 网 膜 上 只 有 近 中 心 部 的 较 小 范围 内 才 有 锥 状 细胞 ， 外 周 几乎 都 是 杆 状 细胞 ， 因 而 
白 视 野 最 大 ， 蓝 视野 次 之 ， 红 视野 更 小 ， 绿 视野 最 小 。 

视 敏 度 是 指 眼睛 辨别 物体 上 微细 结构 的 最 大 能 力 ， 也 就 是 临床 上 所 测量 的 视力 。 由 于 视 
网 膜 各 部 感光 细胞 的 密度 不 同 、 细 胞 顶端 大 小 不 同 、 两 种 感光 细胞 分 布 的 比例 不 同 ， 以 及 感 
光 细 胞 与 神经 节 细 胞 的 联系 方式 不 同等 ， 所 以 视网膜 各 部 的 视 敏 度 不 同 。 视 敏 度 一 般 是 指 视 
网 膜 中 央 止 在 亮光 下 的 视 敏 度 。 视 敏 度 取 决 于 物体 (成像 上 的 微细 结构 ) 在 视网膜 上 成 像 
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的 大 小 、 像 的 清晰 程度 、 光 线 的 强度 及 中 枢 神 经 系统 所 处 的 状态 。 视 网 膜 中 央 凹 的 视 敏 度 要 
比 周 缘 部 (全 部 为 杆 状 细胞 ) 大 40 倍 。 但 周 缘 部 视网膜 对 光 的 敏感 度 却 很 强 ， 因 而 在 晚间 
常 靠 视网膜 的 周围 部 分 来 辨别 物体 ( 较 模 糊 ), 但 细 看 (注视 ) 物体 时 反而 更 看 不 清 


楚 。 


视网膜 上 物 像 的 大 小 一 般 不 以 其 绝对 数 
字 表 示 ， 而 是 用 视角 来 表示 。 视 角 是 指 由 被 4 
看 到 的 物体 的 两 端 (或 物体 上 的 两 点 ) 向 眼 








折光 系统 的 节点 (N) 所 连 成 的 两 线 之 间 的 8 | a 
夹 角 ， 如 图 1.5 所 示 。 视 角 愈 大 ， 表 示 物 体 
上 两 点 间 的 距离 愈 大 。 视 力 越 好 ， 愈 能 分 辩 Ye 





物体 的 微细 结构 ， 而 物体 愈 微 小 ， 可 辨 出 的 
两 点 之 间 的 距离 也 就 愈 小 。 当 视角 小 到 一 定 
程度 时 ， 视 网 膜 上 的 像 就 无 法 辨别 出 两 个 点 来 ， 这 时 看 上 去 好 像 上 只 有 一 个 点 ， 不 能 辨别 与 原 
物体 相应 的 像 点 ， 正 常人 视角 约 为 1' (1/609) 时 ， 可 辨 出 是 两 点 。 这 时 在 视网膜 上 两 点 的 
像 距 约 为 4.4pm， 而 中 央 四 处 锥 状 细 脑 的 锥 部 ， 其 直径 仅 为 2.5 ~4pm， 因 而 物 像 的 两 个 点 
可 同时 刺激 到 两 个 锥 状 细胞 ， 而 且 中 间 还 夹 有 一 个 未 受 刺激 的 锥 状 细胞 。 由 于 锥 状 细胞 各 有 
一 条 专用 的 传人 神经 纤维 ， 因 而 兴奋 传人 中 枢 后 ， 在 中 枢 内 有 分 区 或 空间 排列 的 两 个 投射 
点 ， 故 可 分 析出 是 两 点 "9 。 


N 








1.5 视角 与 物 像 大 小 的 关系 
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425 视线 追踪 方法 


视线 追踪 (Gaze Tracking) 技术 ， 也 称 为 眼 动 跟踪 (Eye Tracking) 技术 ， 是 利用 机 械 、 
电子 、 光 学 等 各 种 检测 手段 获取 受 试 者 当前 “视觉 注意 ” (注视 ) 的 方向 的 技术 。 它 广泛 应 
用 于 人 机 交互 、 助 老 助 残 、 车 辆 辅助 驾驶 、 人 因 分 析 、 虚 拟 现实 和 军事 等 领域 。 视 觉 注 意 的 
方向 蕴含 着 受 试 者 感 兴趣 区 域 的 信息 。 视 线 追 踪 技 术 起 源 于 关于 眼 动 的 研究 ， 一直 以 来 眼 动 
和 视线 的 研究 主要 集中 在 解剖 学 、 神 经 学 、 心 理学 和 行为 学 领域 ， 是 心理 学 、 解 剖 学 、 行 为 
科学 等 研究 领域 中 测量 眼睛 运动 状态 广泛 采用 的 技术 手段 。 近 年 来 ， 人 们 将 这 一 技术 引入 信 
息 领 域 ， 并 结合 了 机 器 视觉 、 图 像 处 理 及 生物 特征 检测 与 识别 等 新 技术 ， 形 成 了 今天 的 视线 
追踪 技术 。 视 线 追 踪 技 术 的 研究 范畴 涉及 光学 、 心 理学 、 生 理学 、 计 算 机 科学 等 领域 ,技术 
手段 需 融 合 了 人 有 眼 特 征 检测 、 人 脸 特 征 检 测 与 跟踪 、 头 部 位 姿 检测 等 多 种 生物 特征 识别 技 
术 ， 是 典型 的 多 学 科 交 叉 技术 。 

视线 追踪 技术 的 主要 研究 内 容 是 如 何 实 时 、 客 观 、 准 确 地 记录 受 试 者 当前 的 视线 方向 或 
视线 落 点 位 置 。 在 测量 手段 比较 简易 贫乏 的 时 期 ， 研 究 人 员 为 客观 记录 眼 动 数据 ， 先 后 采用 
了 诸如 机 械 记 录 法 、 电 流 记 录 法 、 电 磁 记 录 法 等 来 检测 和 记录 眼 动 数据 。 近 年 来 ， 随 着 机 需 
视觉 和 数字 图 像 处 理 技术 的 迅速 发 展 ， 利 用 数字 摄像 机 记录 眼 动 过 程 并 采用 图 像 处理 方 法 分 
析 视 线 方向 的 光学 记录 法 得 到 了 广泛 的 应 用 。 这 种 方法 对 受 试 者 的 侵害 程度 较 小 ， 且 能 达到 
较 高 的 测量 精度 。 目 前 ， 视 线 追 踪 技 术 按照 系统 构成 和 采用 的 检测 方法 可 以 粗略 划分 为 侵入 
式 和 非 侵 入 式 两 种 '"。 侵 入 式 系统 需要 用 户 佩戴 特制 的 配置 有 光学 系统 的 头盔 等 设备 ， 对 
使 用 者 干扰 比较 大 。 非 侵入 式 装 置 则 利用 外 部 的 摄像 机 获取 人 脸 和 人 眼 图 像 ， 通 过 对 人 脸 和 
人 眼 图 像 的 分 析 与 处 理 ， 得 到 眼 部 特征 点 ， 然 后 根据 人 眼 模型 ， 将 人 眼 特 征 点 数据 换算 成 视 
线 的 三 维 数据 ， 从 而 佑 算出 视线 的 方向 或 落 点 位 置 。 非 侵入 式 方 法 对 人 的 干扰 小 ， 在 助残 、 
虚拟 现实 、 人 机 交互 等 领域 有 着 广泛 的 应 用 前 景 。 

有 人 认为 ， 关 于 眼 动 的 早期 研究 可 以 一 直 追 溯 到 古 希 腊 。 但 是 真正 使 用 仪器 设备 对 眼 动 
进行 观察 和 实验 则 是 从 中 世纪 开始 的 。 

中 世纪 早期 ， 生 理 心 理学 作为 一 门 特 殊 的 实验 科学 出 现 了 。 当 时 的 阿拉 伯 人 改良 了 观察 
仪器 ， 把 数学 和 实验 光学 同 解剖 学 结合 起 来 ， 发 展 了 视觉 理论 。 例 如 ， 把 视 知觉 理论 运用 于 
视 错 觉 分 析 ， 对 动物 进行 详尽 的 眼睛 解剖 学 研究 ， 以 确定 各 种 光 折 射 中 眼睛 里 介质 的 特性 ， 
把 这 些 结果 与 从 眼 动 的 观察 中 获得 的 结论 进行 比较 。 许 多 视觉 实验 方法 和 实验 仪器 也 被 迅速 
用 于 心理 学 研究 。 这 一 时 期 最 有 代表 性 的 是 Ibnal Haytham 的 著作 一 一 《 Kitabal Manazir) , 
这 是 第 一 部 生理 光学 手册 。 该 书 详细 描述 了 眼睛 的 结构 和 视觉 系统 的 解剖 特点 ， 并 提出 了 中 
心 视觉 和 边缘 视觉 的 理论 。 在 眼 动 研究 的 开端 ， 人 类 开始 意识 到 眼 运 动 的 作用 。 由 于 受 当 时 
哲学 思想 的 影响 ， 有 些 研 究 还 存在 唯心 主义 的 倾向 ， 研 究 结果 有 许多 脐 测 成 分 ， 客 观 性 和 科 
学 性 都 受到 限制 。 以 上 这 些 局 限 性 一 直 持 续 到 了 19 世纪 ， 之 后 很 快 就 被 新 的 方法 所 解决 。 

从 Ibnal Haytham 发 表 著 名 的 生理 光学 著作 之 时 到 19 世纪 ， 关 于 眼 动 的 研究 一 直 沉寂 了 
八 九 个 世纪 ， 直 到 Charles Bell 和 Johannes Muller 两 位 现代 生理 学 的 奠基 人 发 表 了 一 系列 专 
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论 眼 动 的 论文 ， 才 使 这 一 领域 大 放 异 彩 。 这 些 研究 的 出 发 点 是 企图 对 眼 动 特征 进行 精确 分 
析 。 首 先 ，Muller 发 现 了 视 旋转 ， 即 眼球 以 视 轴 为 中 心 的 中 央 旋 转 。 后 来 ，Hueck 对 此 进行 
了 系统 研究 ， 试 图 揭示 头 部 转向 一 侧 的 运动 以 补偿 眼睛 在 相反 方向 上 旋转 的 规律 。Volkman 
首先 尝试 对 眼 动 的 速度 进行 测量 。 在 这 些 研 究 中 ， 最 能 表现 研究 者 的 创造 精神 和 聪明 才智 的 
就 是 不 断 创新 的 眼 动 实验 方法 ,而且 一 旦 有 了 一 种 新 的 方法 ， 很 快 就 会 推出 一 批 新 的 研究 成 
果 。 有 眼 动 研究 领域 这 种 活力 一 直 延 续 到 当代 。 

经 历 了 上 百年 的 技术 发 展 ， 目 前 很 多 国家 都 在 发 展 腿 动 测量 技术 ， 但 其 技术 路 线 、 实 现 
手段 、 最 终 效 果 不 尽 相同 。 











2.1 直接 观察 法 


直接 观察 法 就 是 测试 人 员 用 肉眼 直接 观察 被 测试 者 的 眼 动 情况 ， 这 是 一 种 比较 原始 的 眼 
动 研究 方法 。1878 年 法 国 眼 科学 家 Javal 曾 发 明了 用 反光 镜 来 观察 眼睛 运动 的 方法 。 其 具体 
操作 方法 : 将 反光 镜 放 在 被 测试 者 的 右前 方 ， 当 被 测试 者 的 眼睛 运动 时 ,测试 人 员 可 以 从 反 
光 镜 中 观察 到 被 测试 者 的 眼球 运动 。 后 来 的 研究 人 员 在 研究 被 测试 者 在 阅读 书刊 时 的 眼 动 情 
况 时 ， 曾 对 Javal 的 方法 进行 改进 一 一 将 镜子 和 被 测试 者 阅读 的 书刊 一 起 平 放 桌 子 上 ， 被 测 
试 者 在 阅读 时 ， 测 试 人 员 在 桌子 的 对 面 通 过 镜子 来 观察 被 测试 者 的 眼 动情 况 。 

另 一 种 直接 观察 法 叫做 疾 视 孔 法 。 其 方法 是 测试 人 员 和 被 测试 者 面对面 坐 着 ， 在 两 人 之 
间 放 置 一 个 带 有 小 孔 的 纸 幕 ， 纸 幕 中 穿 透 一 个 直径 为 0.76cm 的 圆 孔 ， 通 过 这 个 圆 孔 ， 测 试 
人 员 可 以 了 解 到 被 测试 者 的 眼 动 情况 "…” 。 

直接 观察 法 作为 最 早出 现 的 眼 动 研究 方法 ， 由 于 受 当 时 实验 条 件 所 限 ， 有 一 定 的 局 限 
性 。 它 不 能 借助 其 他 更 有 效 的 工具 而 单纯 用 肉眼 来 观察 ， 只 能 得 到 被 测试 者 一 些 幅度 比较 大 
的 眼 动 。 如 果 被 试 者 的 眼 动 范 围 很 小 ， 如 只 有 1°， 则 测试 人 员 很 难 察觉 到 。 因 此 ， 直 接 观 
察 法 只 能 对 眼 动 进行 比较 粗略 的 研究 ， 需 要 新 的 研究 方法 对 其 进行 改进 。 






































2.2 后 像 法 


后 像 法 也 是 早期 眼 动 研究 中 常用 的 一 种 方法 。 其 原理 是 利用 闪光 灯 的 高 亮度 闪光 对 被 测 
试 者 产生 的 视觉 后 像 来 研究 人 眼 的 运动 。 其 具体 操作 方法 : 测试 人 员 用 闪光 灯 的 强 光 使 被 测 
试 者 产生 一 个 清晰 的 后 像 ， 即 参考 标志 ， 如 十 字形 、 一 条 直线 或 一 个 小 三 角形 等 ; 然后 让 被 
测试 者 注视 画 有 格子 的 纸 幕 上 的 某 一 点 ， 在 注视 过 程 中 被 测试 者 需要 同时 注意 后 像 相 对 于 注 
视点 及 格子 的 运动 ， 并 注意 后 像 的 运动 轨迹 ;由 于 后 像 是 稳定 地 落 在 网 腊 上 的 ， 因 此 后 像 的 
运动 就 反映 了 眼 动 的 情况 ; 根据 已 知 的 被 测试 者 的 眼睛 与 纸 幕 之 间 的 距离 及 后 像 在 纸 幕 上 的 
运动 距离 ， 就 可 以 近似 地 计算 出 注视 时 眼 动 的 角度 。 该 方法 要 求 后 像 必须 十 分 清楚 ， 并 
且 后 像 越 小 越 清 晰 ， 计 算出 的 眼 动 的 结果 就 越 精确 。 









































2.3 机械 记录 法 





机 械 记 录 法 的 共同 特点 是 在 被 测试 者 的 眼睛 上 附着 相应 的 辅助 设备 ， 表 通过 机 械 传 动 的 
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方法 将 被 测试 者 的 眼 动情 况 记 录 下 来 。 机 械 记 录 法 主要 有 以 下 三 种 。 
2.3.1 杠杆 直接 记录 法 


这 种 方法 是 将 一 个 胶 质 的 薄片 贴 在 被 试 者 的 眼睛 角膜 上 ， 青 通过 相关 行动 装置 将 胶 质 薄 
片 与 杠杆 记录 的 标 笔 相连 接 。 这 样 当 被 试 者 的 眼睛 运动 时 ， 就 会 通过 机 械 装 置 将 眼球 的 运动 
情况 记录 到 记录 或 上 。 在 用 这 种 方法 进行 实验 时 ， 为 避免 疼痛 和 不 自觉 地 皮 眼 ， 需 先 对 被 测 
试 者 的 角膜 进行 麻醉 ， 才 能 将 胶 质 薄片 附着 到 角膜 上 。 


2.3.2 气动 法 


Lamare 于 1892 年 发 现 ， 当 被 测试 者 的 一 只 眼睛 在 进行 阅读 时 ， 可 以 从 另 一 只 眼睛 的 眼 
瞪 触 党 到 角膜 的 运动 。Schackwitz 根据 Lamare 的 这 一 理论 ， 在 一 个 眼镜 架 上 装 设 了 一 个 小 橡 
皮 吉 ,并 使 其 能 够 轻微 地 接触 眼 瞪 ， 并 且 将 橡皮 寺 的 开口 处 通过 橡皮 管 连接 到 马 利 气 鼓 。 这 
样 当 眼球 运动 触动 皮 守 并 使 其 内 部 压力 发 生变 化 ， 从 而 使 相应 变化 反映 到 气 鼓 上 ， 这 样 就 能 
将 眼 动情 况 通 过 记录 装置 记录 下 来 ” 。 


2.3.3 角膜 吸附 环 状 物 法 


此 方法 也 需 将 角膜 进行 麻醉 以 避免 被 测试 者 眼睛 产生 不 适 感 。 将 一 个 轻 质 的 环 状 物 附着 
在 被 测试 者 的 角 腊 上， 环 状 物 通 过 一 个 物质 杠杆 与 铝 质 记录 指针 相连 接 。 这 样 当 被 测试 者 通 
过 环 状 物 中 间 的 圆 孔 进行 阅读 时 ， 眼 球 的 运动 就 可 以 通过 记录 指针 记录 到 纸 上 ” 。 

以 上 三 种 机 械 记录 法 装置 复杂 ， 由 于 大 多 使 用 机 械 装置 ， 使 得 研究 结果 精确 度 有 所 降 
低 ， 并 且 会 对 被 试 者 的 眼睛 产生 一 定 的 损伤 。 

















2.4 电流 记录 法 


眼球 运动 可 以 产生 生物 电 现象 。 Ra OM TUE 
不 同 ， 角 膜 部 位 的 代谢 率 较 小 ， 网 膜 部 
位 的 代谢 率 较 大 ， 所 以 使 得 两 者 之 间 形 
成 了 电位 差 。 角膜 对 于 网 膜 来 说 种 正 电 ， 
相反 网 腊 对 于 角膜 来 说 就 是 带 人 负电 。 当 
被 测试 者 的 眼睛 注视 前 方 而 没有 发 生 眼 
动 现象 时 ， 眼 睛 左 侧 和 右 侧 的 皮肤 之 间 
的 电位 差 是 一 个 恒定 值 ， 不 会 发 生变 化 。 
而 当 眼 睛 在 水 平方 向 运动 时 ， 眼 球 的 左 
侧 和 右 侧 的 电位 差 就 会 发 生变 化 。 同 理 
当 有 眼睛 在 垂直 方向 运动 时 ， 眼 球 的 上 部 = 
和 下 部 的 电位 差 也 会 发 生变 化 。 图 2.1 电流 记录 法 

电流 记录 法 就 是 根据 这 一 原理 ， 将 
眼球 运动 时 角膜 和 网 膜 间 的 电位 差 记录 下 来 ， 如 图 2. 1 所 示 。 其 具体 操作 方法 : 将 两 个 特制 
电极 分 别 放置 在 眼睛 的 上 部 和 下 部 ， 这 样 当 眼球 向 上 运动 时 ， 网 膜 便 接 近 下 面 的 电极 ， 而 角 
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膜 便 接近 上 面 的 电极 ， 因 此 眼睛 运动 时 两 个 电极 间 便 会 有 一 定 的 电位 差 ， 此 电位 差 便 可 通过 
灵敏 电流 表 记 录 下 来 ;， 相反 ， 当 眼球 向 下 运动 时 ， 便 会 产生 相反 方向 的 电位 差 ; 如 果 类 似 地 
在 眼睛 的 左右 两 侧 放 置 两 个 电极 ， 就 可 以 同样 记录 下 眼球 的 左右 运动 ; 当 眼 球 运动 时 ， 角 膜 
与 网 膜 之 间 的 电位 差 会 随 眼球 的 运动 而 不 断 发 生变 化 ， 电 位 差 信 号 即 为 眼 电 信号 ， 眼 电信 号 
随 着 眼球 运动 而 不 断 变 化 ， 在 时 间 轴 上 构成 一 条 变化 的 曲线 ， 这 条 曲线 被 称 作 眼 电 图 ; 通过 
对 眼 电 图 的 测量 分 析 ， 可 以 测定 眼球 运动 的 生理 变化 ， 经 过 信号 采集 与 模式 识别 ， 进 而 可 以 
分 析出 被 测试 考 的 眼 动情 况 : 。 

作为 20 世纪 50 年 代 以 前 最 流行 的 眼 动 研究 方法 之 一 ， 电 流 记录 法 被 人 们 广泛 地 应 用 于 
临床 和 实验 室 。 电 流 记录 法 的 精度 比 直 接 观 察 法 和 机 械 记录 法 在 记录 有 眼球 运动 时 有 很 大 程度 
的 提高 ， 其 精度 能 达到 1.5° ~ 2. 0" ， 并 且 能 记录 的 眼 动 范围 也 更 大 ， 能 达到 70"。 电 流 记 录 
法 的 优点 体现 在 如 下 两 点 : 

1) 头 部 的 运动 不 会 影响 记录 结果 ; 

2) 记录 时 不 用 直接 接触 眼睛 。 

但 是 电流 记录 法 也 有 本 身 的 不 足 之 处 : 它 所 记录 下 来 的 是 角膜 和 网 膜 之 间 的 电位 差 ， 而 
不 是 眼球 的 实际 运动 情况 ， 这 就 需要 通过 推算 的 方法 将 眼球 的 运动 情况 还 原 回 来 。 同 时 ， 由 
于 被 测试 个 体 之 间 的 生理 差异 ， 使 得 不 同 的 被 测试 者 之 间 的 实验 数据 差异 较 大 。 甚 至 同一 受 
测试 者 在 不 同时 间接 受 同 一 实验 也 存在 差别 ， 这 就 使 测试 数据 可 能 存在 较 大 误差 “| 。 

当 眼 球 运动 时 ， 角 膜 与 视网膜 之 间 的 电势 差 会 随 眼 球 的 运动 而 不 断 变 化 ,该 电势 信号 即 
是 眼 电信 号 ， 眼 电信 号 随 着 眼球 运动 不 断 变化 ， 在 时 间 轴 上 构成 一 条 变化 的 曲线 ， 把 这 条 
线 称 作 眼 电 图 (Electrooculogram ，EOG) 9 。 通 过 对 眼 电 图 的 测量 分 析 ， 可 以 测定 眼球 运动 
的 生理 变化 ， 经 过 信号 采集 与 模式 识别 ， 进 而 可 以 设计 成 基于 眼 电信 和 号 的 人 机 交互 系统 ”1 。 
目前 ， 基 于 脑 电信 号 的 人 机 接口 (Brain-Computer Interface, BCI) 系统 是 科学 人 研究 的 热点 。 
而 眼 电 信号 比 脑 电 信号 在 波形 上 相对 简单 ， 信 号 采集 与 识别 更 加 容易 。 男 外 ， 通 过 对 不 同 肥 
眼 次 数 状态 下 的 眼 电信 号 进行 编码 ， 增 加 了 选择 和 控制 信息 ， 扩 展 了 基于 眼 电 信号 的 人 机 交 
互 系 统 的 应 用 范围 和 功能 。 

直到 现在 ， 电 流 记录 法 仍 是 人 们 常用 的 眼 动 研究 方法 ,很 多 公司 根据 电流 记录 法 开发 出 
自己 的 眼 动 仪 。 其 中 ， 比 较 有 代表 性 的 是 法 国 Metrovison 公司 生产 的 Model Mon EOG 眼 动 
仪 。 该 系列 仪器 不 能 够 记录 和 分 析 眼 动 轨迹 和 瞳孔 直径 ,但 可 以 记录 水 平和 垂直 方向 的 眼 动 
情况 。 















































2.5 电磁 感应 法 


电磁 感应 法 最 初 是 由 Robinson F 20 世纪 60 年 代 提出 的 5] 。 电 磁感应 法 的 具体 操作 方 
ik. 将 被 测试 者 的 眼睛 麻醉 ， 把 一 个 装 有 探 察 线圈 的 隐形 镜片 吸附 在 眼睛 上 ; 线圈 中 产生 感 
应 电压 ， 通 过 对 感应 电压 的 相 敏 检测 ， 可 以 精确 地 测量 被 试 者 在 水 平和 垂直 方向 的 眼 动情 
况 。Collewijin 对 电磁 感应 法 进行 了 改进 ， 他 将 由 硅胶 制 成 的 柔性 小 环 戴 在 眼 的 边缘 ， 并 将 
探 察 线圈 装 在 小 环 中 ， 这 使 得 电磁 感应 法 的 效果 得 到 了 改善 。 电 磁感应 法 的 不 足 之 处 在 于 价 
格 昂贵 ， 并 且 会 使 被 测试 者 的 眼睛 产生 轻微 的 疼痛 ， 有 时 还 会 使 被 测试 者 的 视 敏 度 下 降 。 电 
磁感应 法 示意 如 图 2. 2 所 示 。 
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图 2.2 电磁 感应 法 示意 
电磁 感应 法 眼 动 仪 的 典型 代表 是 荷兰 SKALAR 公司 生产 的 电磁 感应 眼 动 记 录 系 统 
(Sclera Search Coils Systems) 。 





2.6 光学 记录 法 


当 外 界 的 光线 照 到 眼球 上 时 ， 被 测试 者 眼睛 上 的 附着 物 (如 小 镜片 ) 或 眼睛 的 角膜 等 
能 将 光线 反射 回去 。 如 被 测试 者 的 眼球 运动 ,那么 反射 光线 也 会 产生 相应 的 变化 。 这 就 是 兴 
学 记录 法 的 基本 原理 。 在 早期 相关 的 实验 中 ， 记 录 反 射 光线 的 运动 曲线 的 介质 是 照相 底片 。 
随 着 科学 技术 的 发 展 ， 研 究 人 员 开 始 使 用 电影 摄影 机 、 摄 像 机 等 仪器 记录 反射 光线 的 运动 曲 
线 ， 这 使 得 反射 光线 的 运动 曲线 能 够 更 加 精确 地 记录 下 来 ， 为 研究 眼球 运动 提供 了 更 为 精确 
的 资料 。 光 学 记录 法 分 为 反光 记录 法 、 影 视 法 和 角膜 反光 法 等 。 


2.6.1 反光 记录 法 


此 类 方法 的 原理 ， 是 在 被 测试 者 的 眼睛 上 通过 各 种 不 同 的 途径 附着 上 极 小 的 镜子 ， 当 外 
界 的 光源 投射 到 眼球 上 ， 眼 球 上 的 附着 装置 能 将 光线 反射 到 记录 装置 上 ， 从 而 能 将 眼球 的 运 
动情 况 记录 下 来 。 反 光 记 录 法 的 关键 问题 是 如 何 能 够 将 镜子 附着 在 被 测试 者 的 眼球 上 而 不 使 
被 测试 者 有 不 适 的 感觉 ,不 影响 实验 结果 。 最 早 的 反光 记录 法 是 由 Adler 和 Fliegeman 提出 
的 ， 他 们 直接 把 一 个 直径 为 3mm 的 小 镜子 附着 在 被 测试 者 的 眼睛 巩 腊 上， 这样 投射 一 束 光 
线 到 小 镜子 上 ， 就 可 以 记录 被 测试 者 眼 动 时 反射 光 的 变化 情况 。 但 是 将 小 镜子 贴 到 眼球 的 巩 
腊 上 并 能 使 其 保持 在 固定 位 置 而 不 动 是 相当 困难 的 。 为 了 解决 这 个 问题 ，Ratliff 和 Riggs 对 
这 个 方法 进行 了 改进 ,制作 了 一 种 适合 被 测试 者 眼球 大 小 的 胶 质 的 接触 镜片 中 。 将 小 镜片 
固定 在 接触 镜片 上 ， 这 个 装置 就 类 似 于 现在 的 隐形 眼镜 。 实 验 时 ， 被 测试 者 将 这 个 接触 镜片 
放置 在 眼 瞪 内 部 ， 扣 在 角膜 上 面 。 这 样 当 有 光源 照射 到 被 试 者 的 眼睛 上 的 时 候 ， 被 测试 者 的 
眼 动 情况 就 可 以 通过 小 镜子 的 反射 光 记 录 在 记 纹 鼓 或 者 照相 底片 上 。 

















2.6.2 影视 法 


影视 法 是 使 用 照相 机 或 摄像 机 ， 通 过 拍摄 来 记录 被 测试 者 的 眼睛 的 运动 情况 。 最 早 的 影 
视 法 ， 是 Dodge 和 Cline 使 用 照相 机 连续 拍摄 单 张 图 片 来 记录 被 测试 者 眼睛 的 运动 情况 。 他 
们 在 被 测试 者 的 前 方 安置 照相 机 ， 这 样 当 被 测试 者 发 生 眼 动 时 ， 照 相机 能 通过 连续 折 摄 一 系 
列 的 照片 将 被 试 者 的 眼 动情 况 记录 下 来 ， 进 而 能 够 通过 分 析 这 些 照片 来 了 解 被 试 者 眼 动情 况 
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的 特点 。 

Judd 和 Steele 等 对 Dodge 和 Cline 的 实验 方法 进行 了 两 方面 的 改进 : 一 是 使 用 了 先进 的 
能 够 进行 快速 连 拍 的 照相 机 (每 秒 能 快速 拍摄 出 9 张 连续 的 照片 ) ; 二 是 对 被 测试 者 的 眼球 
进行 了 处 理 ， 他 们 先 在 被 测试 者 的 眼睛 角膜 上 用 无 害 的 白色 颜料 涂 上 一 个 小 圆 点 作为 标记 ， 
并 将 被 测试 者 的 头 放 在 头 部 固定 支架 上 ， 这 样 就 防止 被 测试 者 头 部 运动 对 实验 结果 榜 来 的 干 
扰 ， 同 时 在 支架 的 两 旁 固 定 两 个 小 亮 球 作为 拍摄 的 参照 点 。 实 验 时 ， 由 照相 机 对 被 测试 者 面 
部 及 参照 的 小 亮 球 进行 连续 拍摄 ， 记 录 下 被 测试 者 发 生 眼 动 时 角膜 上 白 点 与 参照 点 之 间 运 动 
的 相对 位 置 关 系 ， 进 而 来 分 析 被 测试 者 的 眼 动情 况 .“]。 后 续 的 实验 者 对 Judd 和 Steele 的 实 
验 进 行 了 改进 ,使 用 了 更 加 先进 的 摄像 机 来 记录 被 测试 者 的 眼睛 运动 情况 ,使 得 分 析 结 果 更 
加 精确 。 

Shackel 将 一 台 摄 像 机 固定 在 被 测试 者 头 部 的 正 上 方 ,， 来 拍摄 被 测试 者 所 观察 到 的 刺激 
景物 ， 并 将 其 显示 在 显示 屏幕 上 。 同 时 ， 采 用 电流 记录 法 ， 在 被 测试 者 的 眼睛 周围 由 上 一 系 
列 的 电极 来 记录 其 眼 动 时 候 的 电位 变化 情况 ， 并 将 电位 差 的 变化 反映 在 示波器 上 。 然 后 ， 
通过 另 一 个 摄像 机 把 示波器 中 光 点 的 运动 情况 也 显示 在 显示 屏幕 上 ! 。 这 样 显示 屏 蒂 上 既 
有 被 观察 的 景物 ， 又 有 代表 被 试 者 眼球 运动 的 光 点 运动 轨迹 ,使 得 眼 动 研究 更 为 直 
观 。 


2.6.3 角膜 反光 法 


人 了 眼 的 角膜 能 够 反射 照 到 它 表 面 的 光线 ， 角 膜 反光 法 就 是 根据 这 一 原理 来 实现 的 。 假 设 
人 的 眼球 是 一 个 标准 的 球体 ， 当 人 的 眼睛 运动 时 角膜 反射 回 的 光线 是 固定 不 动 的 。 但 是 由 于 
眼睛 的 角膜 是 从 眼球 的 表面 凸 出 的 ， 所 以 角膜 的 表面 并 不 是 一 个 标准 的 球面 。 当 人 的 眼睛 运 
动 时 ， 从 角膜 反射 回 的 光线 也 会 发 生 相 应 的 变化 ， 这 样 就 可 以 通过 记录 角膜 反光 来 分 析 眼 动 
情况 。 较 早 使 用 角膜 反光 法 研究 眼 动 现象 的 是 Dodge 和 Cline。 其 研究 过 程 的 具体 操作 方法 : 
在 被 测试 者 的 前 方 安置 摄像 机 ， 并 让 外 界 光 源 产 生 的 平行 光照 射 到 被 测试 者 的 眼球 上 ， 由 角 
膜 反 射出 来 的 光线 就 会 进 和 摄像机， 摄像 机 的 感光 胶片 匀速 运动 ， 角 膜 反 射出 来 的 光 点 的 移 
动 轨 迹 就 能 够 记录 在 感光 胶片 上 ， 从 而 可 以 根据 光 点 的 运动 轨迹 来 研究 眼 动 的 情况 。Dodge 
和 Cline 用 上 述 的 方法 对 注视 、 追 踪 和 阅读 时 的 眼 动 进行 了 人 研究 。 

后 来 的 研究 人 员 对 角膜 反光 法 进行 了 改进 , 设计 出 了 一 种 能 够 用 于 研究 眼 动 情况 的 仪 
器 。 为 了 避免 头 部 运动 对 记录 结果 的 影响 ， 他 们 设计 了 雪花 石膏 制 成 的 帽子 ， 并 将 光源 及 其 
他 的 光学 仪器 固定 在 帽子 上 。 实 验 时 ， 被 测试 者 将 帽子 固定 在 头 上 ， 同 时 摄像 机 能 够 以 每 秒 
60 张 的 速度 将 角膜 反射 光线 的 运动 情况 记录 下 来 。 后 来 ，Johanson 和 Backlund 对 上 述 方案 
进行 了 改进 ， 把 雪花 石膏 变 为 更 为 轻便 的 装置 ， 使 仪器 的 整体 重量 降 至 0. 68kg， 这 样 在 实 
验 时 被 试 者 不 会 因为 仪器 的 重量 而 感到 不 适 ， 并 且 该 仪器 可 以 在 较 大 范围 内 进行 眼 动 研 
究 !5] 。 其 实 ， 这 种 眼 动 检测 系统 就 是 现在 的 头盔 式 (穿戴 式 或 侵入 式 ) 眼 动 系统 。 

角膜 反光 法 是 一 种 重要 的 眼 动 记录 方法 。 这 种 方法 最 大 的 优点 是 被 测试 者 的 眼睛 上 没有 
附加 任何 装置 ， 因 此 使 得 实验 结果 更 加 自然 ， 能 够 更 为 准确 地 分 析出 被 试 者 的 眼 动情 况 。 因 
此 ， 角 膜 反光 法 也 为 各 种 先进 的 眼 动 仪 所 采用 。 其 中 ， 具 有 代表 性 的 如 美国 应 用 科学 实 
验 室 人 研制 的 EVM3200 型 眼 动 仪 ， 以 及 加 拿 大 SR 公司 研制 的 Eyelink II 729 3; 2: SCHR zJj 
Das 
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基于 视频 分 析 的 瞳孔 角膜 反射 法 

基于 视频 分 析 的 瞳孔 角膜 反射 法 可 以 应 用 于 穿戴 式 视 线 追 踊 系 统 ， 也 可 应 用 于 遥测 式 视 
线 追 踪 系 统 。 它 是 一 种 视线 的 检测 方法 。 即 利用 光源 ， 一 般 是 红外 光源 ， 在 角膜 上 的 反射 点 
和 瞳孔 中 心 之 间 的 参数 来 反映 视线 方向 。 而 视线 参数 的 获取 是 通过 视频 分 析 实 现 的 。 

瞳孔 角膜 反射 方法 利用 眼球 转动 时 相对 位 置 不 变 的 某 些 眼 部 结构 和 特征 作为 参照 ， 在 位 
置 变化 特征 和 这 些 不 变 特征 之 间 提 取 视 线 (Line of Sight/Point of Regard, LoS/PoR) 变化 参 
数 ， 然 后 通过 几何 模型 或 映射 模型 获取 视线 方向 。 此 方法 具有 对 人 干扰 小 ， 容 易 操作 和 精度 
较 高 的 特点 ， 拥 有 很 大 的 研究 发 展 空间 。 

瞳孔 角膜 反射 方法 通过 设置 远离 光 轴 的 红外 光源 在 角膜 上 形成 反射 点 〈 善 尔 钦 斑 ) 。 提 
普尔 钦 斑 中 心 到 瞳孔 中 心 的 矢量 作为 视线 方向 参数 ， 然 后 利用 眼球 成 像 模 型 或 映射 模型 来 
估计 视线 方向 。 因 此 ， 角 膜 反 射 方法 由 提取 视线 特征 参数 和 建立 视线 估计 模型 两 部 分 组 成 ， 
如 图 2. 3 所 示 。 
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图 2.3 角膜 反射 法 流程 图 
基于 视频 分 析 的 视线 追踪 利用 摄像 机 和 图 像 处 理 器 计算 出 实时 的 视线 方向 或 视线 落 点 。 
视线 追踪 装置 可 以 是 放 在 桌面 上 的 (AWEZA RREME), EA ERER ER (BT 
谓 的 穿戴 式 、 头 盔 式 或 侵 和 人 式 )。 遥 测 式 和 和 穿戴 式 两 种 视线 追踪 系统 本 质 上 是 一 样 的 ， 视 线 
的 检测 原理 也 大 至 相同。 瞳孔 和 普尔 钦 斑 的 相对 位 置 如 图 2.4 和 图 2.5 所 示 。 随 着 眼球 的 转 
动 ， 瞳 孔 中 心 和 角膜 反射 点 之 间 的 位 置 关 系 也 随 之 变化 。 根 据 瞳 孔 中 心 和 角膜 反射 点 之 间 的 
位 置 关 系 即 可 确定 视线 的 方向 。 


2.6.4 双 普 金 野 法 


Cornsweet 和 Crane 曾 利用 普 金 野 图 像 来 研究 被 测试 者 的 眼 动 现象 "“” 。 当 光线 经 过 眼球 
组 织 时 ， 由 于 有 眼睛 各 个 部 分 的 折射 率 不 同 ， 从 而 产生 了 光源 的 反射 影像 ， 这 些 影像 就 称 为 普 
金 野 图 像 ， 如 图 2. 6 所 示 。 和 角膜 所 反射 出 来 的 图 像 称 为 第 一 普 金 时 图像 ， 从 角膜 后 表面 反射 
出 来 的 图 像 微 弱 些 ， 称 为 第 二 普 金 野 图 像 ， 从 晶状体 前 表面 反射 出 来 的 图 像 称 为 第 三 普 金 野 
图 像 ， 从 品 状 体 后 表面 反射 出 来 的 图 像 称 为 第 四 普 金 野 图 像 。 通 过 对 两 个 普 金 野 图 像 的 测量 
可 以 确定 眼 注视 位 置 。 用 普 金 野 图 像 进行 眼 动 测量 的 仪 右 叫 双 普 金 野 眼 动 仪 。 双 普 金 野 眼 动 
仪 是 目前 世界 上 精度 最 高 的 眼 动 仪 之 一 ， 但 是 由 于 其 价格 相当 昂贵 ， 目 前 还 没有 得 到 广泛 的 
应 用 。 
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图 2.4 瞳孔 和 普尔 钦 斑 的 相对 位 置 关 系 示意 图 


图 2.5 瞳孔 和 普尔 钦 斑 相对 位 置 图 


2.6.5 ”虹膜 -巩膜 边缘 法 

该 方法 的 基本 原理 是 ， 用 不 可 见 的 红外 光照 射 眼 部 ， 在 眼 部 附近 安装 两 只 红外 光敏 晶体 
管 ， 使 虹膜 与 巩膜 的 边缘 处 的 左右 两 部 分 反射 的 红外 线 分 别 被 这 两 只 光敏 晶体 管 所 接收 。 当 
[ 膜 转向 右边 ， 右 边 的 光敏 晶体 管 所 接收 的 红外 线 就 会 减少 而 左边 的 巩膜 





眼球 向 右 运 动 时 ， 曙 
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图 2.6 普 金 野 图 像 示意 图 


反射 部 分 增加 ， 导 致 左边 的 光敏 晶体 管 所 接收 的 红外 线 增加 。 利 用 这 个 差分 信号 就 能 无 接触 
的 测 出 眼 动 。 但 虹膜 -巩膜 边缘 法 存在 误差 大 、 垂 直 精 度 低 的 人 缺点。 目前， 根据 虹膜 - 苞 膜 反 
射 法 原理 生产 的 眼 动 仪 有 美国 应 用 科学 实验 室 研 制 的 ASL-310 型 眼 动 仪 和 和 荷兰 的 TIRIS 型 眼 





动 仪 等 。 


2.7 本 章 小 结 








从 视线 妃 踪 人 研究 方法 的 发 展 历程 可 以 看 出 ， 一 些 粗糙 的 眼 动 记录 方法 逐渐 被 淘汰 。 在 最 
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初 的 眼 动 研究 中 ， 人 们 使 用 了 诸如 观察 法 和 机 械 记录 法 等 比较 原始 的 方法 ,发现 了 一 些 十 分 
重要 的 眼 动 现象 。 这 在 眼 动 研究 的 历史 上 起 到 了 不 容 忽视 的 作用 ， 但 是 这 些 方法 有 自身 难以 
克服 的 弱点 。 随 着 眼 动 研究 的 不 断 深入 ， 眼 动 记录 技术 的 原理 不 断 更 新 ， 技 术 向 多 样 化 发 
展 。 人 们 一 方面 将 原 有 的 眼 动 技 术 不 断 改 进 ， 使 之 更 精确 、 更 方便 、 更 快捷 ; 为 一 方面 ,不 
断 地 探索 运动 新 原理 的 眼 动 记录 方法 ， 如 后 来 出 现 的 电磁 感应 法 等 。 同 时 ， 一些 研究 者 还 尽 
可 能 拓展 眼 动 仪 的 功能 ， 使 之 既 可 以 用 于 视觉 的 科学 研究 ， 也 可 以 用 于 临床 诊断 。 随 着 科学 
技术 的 发 展 ， 现 代 高 科技 手段 广泛 应 用 于 眼 动 记录 技术 ， 如 计算 机 视觉 技术 等 ,使 视线 追踪 
技术 发 生 了 革命 性 的 变化 。 随 着 眼 动 记录 技术 的 发 展 使 眼 动 实验 更 趋 自然 化 。 被 测试 者 几乎 
可 以 在 完全 不 受 仪器 干扰 的 自然 情况 下 接受 检测 。 过 去 在 实验 中 对 眼睛 进行 麻醉 ， 并 在 眼睛 
上 装置 附加 物 的 方法 已 完全 被 淘汰 。 过 去 认为 不 可 能 进行 的 许多 生态 化 要 求 很 高 的 眼 动 实验 
现在 也 可 以 进行 了 。 
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第 3 童 HOW BLZ E Es R DEA D 


最 早 将 视线 追踪 技术 推 向 实用 化 和 商业 化 的 是 美国 、 日 本 和 欧洲 的 相关 机 构 和 公司 。 美 
国 弗吉尼亚 大 学 (University of Virginia) 在 1988 年 末 就 向 市 场 推出 了 商用 ERICA (The Eye- 
gaze response interface computer aid) 系统 。 它 是 一 种 采用 红外 图 像 的 应 用 系统 ， 研 制 目的 是 
面向 重度 残障 人 士 的 人 机 交互 ， 帮 助 其 生活 、 学 习 和 娱乐 等 ， 深 受 广大 残疾 人 士 的 欢迎 。 日 
本 佳能 公司 的 EOS 2E 型 照相 机 也 增加 了 一 种 眼 控 对 焦 功 能 ， 可 以 在 一 幅 画 面 中 根据 人 的 注 
视 位 置 进行 聚焦 。 这 种 功能 是 通过 在 照相 机 上 增加 一 维 视线 追踪 装置 来 实现 的 。 由 此 可 见 视 
线 追 踪 技术 作为 一 项 独立 技术 已 经 逐步 应 用 到 人 们 的 日 常生 活 领域 中 …” 。 

视线 追踪 系统 可 以 有 多 种 分 类 方法 : 按照 系统 与 人 的 关系 ， 可 以 分 为 穿戴 式 ”” 和 非 穿 
戴 式 5 ， 也 称 侵入 式 和 非 侵 入 式 ; 按照 系统 的 视觉 方式 ， 可 分 为 单 摄像 机 系统 "” me 
BIRRO; 按照 系统 的 工作 光照 环境 ， 可 分 为 红外 光照 系统 "和 自然 光照 系统 ， 
也 可 分 为 主动 光源 系统 5” 和 被 动 光源 系统 '" 。 穿 戴 式 系统 需要 用 户 佩戴 特制 的 配置 有 光学 
系统 的 头盔 等 设备 ， 对 使 用 者 的 影响 较 大 。 穿 戴 式 系统 的 视线 方向 检测 精度 比较 高 ， 且 不 受 
头 部 运动 的 干扰 ， 主 要 应 用 于 眼 动力 学 、 心 理学 和 行为 学 等 方面 的 研究 。 非 侵入 式 装 置 则 利 
用 外 部 的 摄像 机 获取 人 脸 和 人 眼 图 像 ， 通 过 对 人 脸 和 人 眼 图 像 的 分 析 与 处 理 ， 得 到 眼 部 特征 
和 视线 特征 参数 ， 然 后 根据 视线 参数 和 视线 方向 映射 模型 ， 将 人 眼 特 征 参 数 换算 成 视线 的 三 
维 数据 ， 从 而 佑 算出 视线 的 方向 或 落 点 位 置 。 非 侵入 式 方 法 对 人 的 干扰 小 ， 在 助残 、 虚 拟 现 
实 、 人 机 交互 等 领域 有 着 广泛 的 应 用 前 景 。 















































3.1 典型 视线 追踪 系统 


3.1.1. 穿戴 式 (AAA) 视线 追踪 系统 


顾名思义 ， 就 是 将 视线 追踪 设备 设计 安装 在 人 的 头 部 ， 通 过 固定 的 架子 或 绑 带 将 包括 摄 
像 机 在 内 的 系统 构件 固定 在 头 部 ， 以 保持 设备 与 人 的 相对 位 置 不 变 。 穿 戴 式 结构 的 优点 在 于 
摄像 机 与 人 眼 的 距离 始终 保持 相对 不 变 ， 减 轻 了 后 续 图 像 处 理工 作 的 难度 ， 最 终 获 得 的 视线 
方向 数据 结果 精度 较 高 。 这 种 方法 的 缺点 在 于 系统 安装 在 人 的 头 部 ， 使 用 者 不 能 在 一 种 自然 
无 接触 状态 下 使 用 ， 对 使 用 者 是 一 种 干扰 。 在 穿戴 式 系统 中 ,摄像 机 或 者 近 距 离 正 对 眼睛 ， 
或 者 靠 眼前 的 镜子 将 光线 反射 人 摄像 机 ， 使 用 者 在 视觉 过 程 中 总 是 不 由 自主 地 扫 视 眼前 的 障 
但 物 ， 对 使 用 者 的 视觉 过 程 造成 影响 。 

1. ASL Model H6 系列 眼 动 仪 " 

ASL Model H6 系列 眼 动 仪 是 由 美国 应 用 科学 实验 室 (Applied Science Laboratories, ASL) 
研发 的 头盔 式 眼 动 设备 。 美 国 ASL 公司 是 国际 知名 的 眼 动 仪 研发 厂商 ， 在 头 戴 式 光学 设备 
方面 拥有 丰富 的 开发 经 验 。 通 过 独立 研发 或 与 其 他 科研 机 构 的 广泛 合作 ，H6 系列 产品 采用 
亮 暗 瞳 技术 和 瞳孔 角膜 反射 方法 ， 采 用 红外 摄像 头 捕捉 眼球 运动 并 分 析 眼 球 运动 轨迹 和 注视 
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时 间 。 
美国 ASL 公司 的 H6 系列 眼 动 仪 分 为 标准 型 眼 动 采集 系统 和 高 速 型 眼 动 采 集 系 统 两 种 ， 
PRIAM RADARA 吉 构 ， 所 形成 的 系统 有 单 日 视觉 标准 型 系统 、 单 日 视觉 高 速 型 系统 


和 双 目 视觉 高 速 型 系统 。 标 准 型 眼 动 系统 的 采样 率 为 50/60Hz， 高 速 型 眼 动 系统 的 采样 率 有 
120Hz, 240Hz, 360Hz, H6 系列 眼 动 仪 的 系统 分 状 率 可 达到 1" ， 系 统 的 精度 均 能 达到 0. 5°, 





眼 动 捕 提 范围 为 水 平方 向 4$。、 垂 直方 向 33"。 美 国 ASL 公司 的 眼 动 系统 还 可 应 用 于 虚拟 现 
X (VR) 的 头 戴 显示 器 (HMD) 中 。 单 目标 准 型 和 双 目 高 速 型 眼 动 系统 如 图 3.1 所 示 。 详 
细 参 数 见 表 3. 1。 








b) 双 目 nmm 






































































































































a) 单 目标 准 型 眼 动 系统 
图 3.1 H6 系列 眼 动 系统 产品 
表 3.1 H6 系列 眼 动 系统 各 产品 参数 
型 号 H6 单 目标 准 H6-HS 单 目 高 速 H6-BN-HS 双 目 高 速 | VR6/VR6-HS KANIRI 
测量 模式 章 孔 -角膜 反射 瞳孔 -角膜 反射 瞳孔 -角膜 反射 潭 孔 -角膜 反射 
"n 50/60 120/240/360 120/240/360 50/60/120/240 
系统 精度 0.5° 视 角 范 围 0.5° 视 角 范 转 0.5° 视 角 范 围 0.5° 视 角 范 围 
DRR 1.0° 视 角 1.0° 视 角 1.0° 视 角 1.0° 视 角 
眼 动 捕捉 范围 JF 45°, 3E E35? | 水 平 45°%,， 垂直 35° | 水 平 45°%， H 35° IKF 45°, FH 35° 
无 限制 (场景 无 限制 (场景 无 限制 (场景 
iin EIN UE Ende! AER 
控制 单元 6000 系列 6000 系列 2 个 6000 系列 6000 系列 
场景 摄像 头 彩色 彩 彩色 彩色 
监视 器 2 个 〈 彩 色 液 晶 ) 2 个 (彩色 液晶 ) 3 个 (彩色 液晶 ) 2 个 (彩色 液晶 ) 
操作 软件 EYE POSE EYE POSE EYE POSE EYE POSE 
数据 分 析 软 件 EYENAL, FixPlot EYENAL, FixPlot EYENAL, FixPlot EYENAL, FixPlot 














ASL Model H6 单 目标 准 型 眼 动 系统 是 一 款 在 临床 医学 及 实验 研究 中 应 用 最 为 广泛 的 眼 


动 仪 。 其 硬件 组 成 包括 6000 系列 控制 单元 、 光 学 模块 、 


像 头 、 用 来 安装 光学 器 件 的 特制 头 带 和 两 个 9im 视觉 摄像 机 显示 器 。 





© lin=25. 4mm, 


一 个 红外 摄像 头 、 


一 个 彩色 场景 摄 
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ASL Model H6 的 6000 系列 控制 单元 结构 紧凑 ， 重 量 仅 为 1. 9kg。 光 学 系统 小 巧 轻便 ， 
可 以 安装 在 一 个 可 调节 的 头 籍 上。 其 中 的 单 片 眼 镜 可 以 灵活 调节 ， 减 少 了 对 眼睛 的 映像 ， 并 
能 够 获得 更 为 完整 的 图 像 。 红 外 摄像 机 用 来 跟踪 用 户 的 眼 动 情况 。 彩 色 场 景 摄像 头 既 可 以 安 
装 在 头 带 上 又 可 以 安装 在 固定 三 角 架 上 ， 用 来 对 场景 进行 记录 。 如 果 将 彩色 场景 摄像 头 安装 
在 固定 三 角 架 上 ， 则 采集 的 图 像 比较 稳定 ， 且 减少 了 多 次 试验 中 繁琐 的 安装 调试 。 两 个 9in 
视觉 摄像 机 显示 器 分 别 用 来 显示 眼 动 追踪 结果 和 场景 摄像 头 捕捉 到 的 图 像 。 佩 戴 在 用 户头 部 
的 系统 ， 包 括 特制 的 头 戴 、 光 学 模块 、 红 外 摄像 机 和 彩色 场景 摄像 机 等 ， 总 重量 约 为 
0. 23kg， 非 常 轻 便 ， 大 大 减少 了 用 户 的 不 适 感 。 

ASL Model H6 系列 眼 动 系统 的 软件 包括 EYEPOSE 操作 软件 和 EYENAL 数据 分 析 软 件 。 
EYEPOSE 操作 软件 允许 操作 者 输入 数据 对 系统 进行 校准 ， 并 可 以 设 定 系统 的 具体 操作 数据 。 
EYEPOSE 操作 软件 可 以 对 眼 动 追踪 数据 进行 离线 分 析 ， 并 可 以 将 眼 动 追踪 数据 转换 为 
ASC 开 格式 ， 由 6000 系列 控制 单元 通过 串 行 端口 (RS232) 发 送 至 其 他 计算 机 进行 数据 分 
析 。ASL Model H6 系列 眼 动 系统 的 控制 单元 可 以 连接 到 以 太 网 ， 从 而 能 够 进行 远 端 数据 分 
析 。ASL Model H6 系列 眼 动 系统 后 续 推 出 了 Gaze Tracker 软件 ， 该 软件 具有 三 大 功能 : 

1) 刺激 呈现 一 一 研究 眼睛 对 静态 图 片 、 视 频 或 计算 机 软件 (如 网 站 内 容 ) 的 反映 ; 

2) 信息 收集 一 一 记录 视线 追踪 鼠标 及 键盘 的 全 部 数据 ; 

3) 数据 分 析 及 图 形 化 一 一 可 以 方便 地 查看 数据 ， 并 能 够 输出 用 户 自 定义 感 兴趣 区 的 统 
计 资 料 和 数据 。 这 使 得 Gaze Tracker 软件 具有 功能 强大 、 简 单 易 用 、 节 约 时 间 、 使 用 灵活 等 
优点 。 

ASL Model H6 系列 眼 动 仪 的 测量 结果 以 一 个 光标 或 十 字 准 星 显 示 ， 受 加 在 来 自 场景 摄 
像 头 的 图 像 上 。 这 些 图 像 可 以 存储 在 录像 带 或 通过 采集 卡 直 接 存在 电脑 上 。 同 时 ， 系 统 还 将 
以 专用 的 文件 格式 记录 测量 的 数据 ， 包 括 时 间 、 有 眼睛 位 置 的 x、y 轴 上 坐标 及 瞳孔 直径 。 测 量 
数据 还 可 以 直接 从 He 系列 控制 单元 的 RS232 串口 输出 。 测 量 数据 还 可 将 眼 动 数据 转换 为 
ASC 开 码 格式 或 文本 格式 ， 以 便 传 输 给 其 他 计算 机 或 用 于 离线 电子 表格 分 析 。ASL Model H6 
系列 眼 动 系统 可 以 应 用 于 如 下 领域 : 

1) 运动 分 析 : 如 球 类 、 射 击 、 技 击 等 运动 过 程 中 运动 员 的 视觉 注视 分 析 ; 

2) 人 机 工程 ， 如 汽车 驾驶 和 航空 过 程 中 驾驶 员 的 视觉 注意 等 ; 

3) 界面 设计 : 如 网 页 设计 、 橱 窗 设 计 中 人 们 关注 的 方面 等 ; 

4) 应 用 心理 学 研究 和 虚拟 现实 。 

2. ASL Mobile Eye ZZ" 

ASL Mobile Eye 也 是 美国 ASL 公司 生产 的 眼 动 追踪 系统 。ASL Mobile Eye 系统 的 采样 频 
AR 25Hz 或 30Hz， 系 统 精 度 为 0. 3" ， 分 辩 率 为 0. 1" 视角， 视觉 范围 为 水 平方 向 50" 和 垂直 
方向 40°。ASL Mobile Eye 系统 的 眼 动 追踪 光学 模块 小 巧 轻便 ,重量 仪 为 76g， 大 大 减轻 了 尖 
部 佩戴 设备 对 使 用 者 的 影响 ,并 且 系 统 的 记录 设备 非常 小 ， 在 对 运动 中 的 使 用 者 进行 眼 动 追 
踪 时 可 将 其 佩戴 在 腰带 上 。ASL Mobile Eye 系统 如 图 3. 2 所 示 。 

ASL Mobile Eye 系统 的 硬件 组 成 有 头 戴 式 光 学 装置 、 彩 色 场 景 摄 像 头 、DVCR 记录 仪 及 
拥有 奔腾 4 处 理 器 的 台式 电脑 。 其 中 ， 头 戴 式 光 学 装置 的 重量 仅 为 76g， 佩 戴 时 对 人 的 活动 
没 任何 影响 ， 彩 色 场 景 摄 像 头 用 来 记录 外 部 场景 ， DVCR 记录 仪 用 来 对 眼睛 图 像 和 场景 图 像 
进行 存 取 ， 可 记录 时 长 高 达 75min; 台式 电脑 为 整个 系统 的 控制 处 理 中 心 。ASL Mobile Eye 
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3.2 ASL Mobile Eye 系统 
系统 所 用 的 软件 为 美国 ASL 公司 专门 开发 的 Eye Vision 处 理 软件 。 
ASL Mobile Eye 系统 可 以 将 运动 的 眼睛 图 像 和 场景 图 像 交替 存储 在 DVCR 记录 仪 的 录像 
带 上 ， 并 通过 软件 进行 数据 分 析 ， 得 出 使 用 者 眼睛 的 注视 方向 。 图 3. 3 所 示 为 使 用 者 在 运动 


中 佩戴 ASL Mobile Eye 系统 


及 系统 检测 出 的 使 用 者 眼睛 的 注视 方向 。 








图 3.3 运动 中 使 用 者 佩戴 ASL Mobile Eye 系统 及 系统 分 析 结 果 
ASL Mobile Eye 系统 的 输出 数据 为 ASC 工 数据 文件 ,包括 “X” 和 “Y” 坐 标 、 瞳 孔 半 
径 及 在 眼 部 成 像 的 像素 。 由 于 ASL Mobile Eye 系统 的 轻便 性 ， 使 其 在 运动 中 眼 动 情况 的 追踪 


中 得 到 了 广泛 的 应 用 。 

3. EyeLink II Z 7i 5: 

由 加 拿 大 SR Research 公司 生产 ,该 公司 日 前 最 高 端的 产品 是 EyeLink I, RA mA 
有 头盔 式 产 品 的 典型 特点 ， 对 人 的 动作 要 求 不 很 严格 。EyeLink IL 系统 包括 一 个 有 皮质 护 执 
的 头盔 ,头盔 上 固定 了 三 个 微型 摄像 机 。 尖 盔 的 重心 较 低 ， 稳 定性 好 而 旋转 惯性 较 小 ， 使 得 
整个 系统 轻巧 便利 。 使 用 者 在 实验 中 感觉 舒适 ,不 易 疲 劳 。 系 统 没有 使 用 反射 镜 ， 操 作 简 
便 。 其 中 ， 眼 部 的 两 个 分 开 的 摄像 机 保证 既 可 以 进行 双眼 追踪 ， 又 能 够 任意 选择 用 户 的 眼睛 
而 不 用 像 大 多 数 头 盔 式 眼 动 仪 那样 进行 机 械 调 整 。 每 个 摄像 机 都 有 敬 入 式 照明 装置 ， 经 过 数 
字 校 正 可 以 满足 全 视野 的 照明 需求 ， 同 时 还 可 以 对 周围 环境 的 照明 条 件 进行 数字 校正 。 这 些 
保证 了 系统 具有 捕捉 瞳孔 的 优越 能 

该 系统 头盔 上 还 整合 了 一 个 微型 的 光学 头 部 追踪 摄像 机 ， 这 种 光学 镜头 有 极 低 的 噪声 水 
平 ， 使 得 计算 出 的 注视 位 置 数 据 和 真正 的 眼睛 位 置 数据 只 有 微小 误差 ， 从 而 保证 这 些 数 据 可 
用 来 进行 眼 跳 分 析 。 系 统 应 用 示例 如 图 3. 4 所 示 。 
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系统 还 包括 可 视 化 实验 设计 软件 Experiment 
Builder， 以 及 数据 回放 分 析 软 件 Data Viewer, Ex- 
periment Builder 可 用 于 生成 各 种 刺激 。 软 件 设计 灵 
活 ， 易 学 易 懂 ， 适 用 于 无 编程 经 验 的 操作 者 。 主 要 
特点 包括 : 

1) 简捷 的 可 视 化 图 形 用 户 界 面 ; 

2) 刺激 旦 现 多 样 化 一 一 文本 、 图 像 、 声 音 或 
三 者 的 任意 组 合 ; 

3) 可 使 用 实时 眼 动 数据 驱动 显示 画面 的 切换 
和 事件 的 触发 ; 

4) 文 持 动态 画面 显示 ，; 

5) 支持 非 Eyelink 系统 实验 设计 。 图 3.4 EyeLink I AMAZ 

Data Viewer 数据 回放 系统 用 于 Eyelink 眼 动 数据 的 观察 、 滤 波 和 输出 。 主 要 特点 包括 : 

1) 创建 关键 时 域 和 任意 形状 的 关注 区 域 用 于 进一步 分 析 ; 

2) 支持 多 个 画面 显示 ; 

3) 可 根据 用 户 需要 来 设 定 要 显示 的 眼 动 数据 成 分 ; 

4) 在 显示 画面 中 ， 回 放 注 视点 轨迹 ， 输 出 注视 、 扫 视 和 关注 区 域 报告 ， 并 以 JPG 图像 
文件 格式 输出 数据 画面 。 

EyeLink 了 [系统 数据 采集 率 最 高 可 达 500Hz， 凝 视点 位 置 误差 0. 15°*， 追 踪 延 时 小 于 3ms, 
眼球 跟踪 范围 可 达 水 平 30*、 垂 直 20°*， 视 线 追 踪 范 围 可 达 水 平 20"、 垂 直 18"。 该 系统 既 可 
记录 瞳孔 运动 ， 也 可 记录 瞳孔 -角膜 反射 点 运动 。 目 前 ， 主 要 应 用 于 心理 学 、 行 为 学 领域 。 
EyeLink 了 [系统 的 优点 可 总 结 如 下 : 

1) 精度 高 、 误 差 低 、 实 验 数据 稳定 准确 ; 

2) 头 戴 装置 轻便 ， 符 合 人 体 工程 学 ， 使 用 者 可 以 在 多 种 场合 或 运动 中 携带 使 用 ; 

3) 高 速 场景 采集 系统 、 可 同步 记录 实景 与 眼 动 数据 ; 

4) 可 多 维度 调节 ， 适 合 不 同 颅 型 ; 

5) 参数 设置 简单 ， 可 对 扫 视 、 注 视 和 是 眼 进 行 在 线 分 析 ; 

6) 操作 人 员 可 实时 获得 反馈 信息 ; 

7) 适用 普通 眼镜 和 隐形 眼镜 ，; 

8) 可 用 于 工效 学 、 交 通 心理 学 、 网 页 设计 等 多 方面 。 

4. iView X HED 系列 

iView X HED 由 德国 SensoMotorie Instruments (SMI) 公司 研发 。 系 统 采样 频率 S0 ~ 
60Hz， 特 殊 应 用 时 可 以 应 用 更 高 的 采样 率 。 凝 视点 位 置 跟踪 误差 为 0.5" ~ 1.0"， 能 够 跟踪 
的 视线 范围 分 别 是 水 平 +30。、 垂 直 +25$"。 其 系统 及 视频 效果 示例 如 图 3. 5 所 示 。 

系统 采用 红外 摄像 机 捕捉 眼睛 的 运动 。iView X HED 是 一 款 全 新 的 移动 式 眼 跟 踪 系 统 ， 
佩戴 者 活动 时 不 受 任何 限制 ， 安 装 简 单 、 操 作 效率 高 。 该 产品 可 与 轻型 耳机 和 笔记 本 电脑 一 
起 使 用 ， 无 论 在 户 内 还 是 在 户外 均 可 昼夜 全 天 候 使 用 。 该 产品 操作 自动 化 程度 高 ， 系 统 可 在 
几 分 钟 之 内 设置 完毕 ， 具 有 全 自动 视线 检测 功能 ， 可 快速 获得 视线 追踪 数据 ， 场 景 视频 录制 
功能 可 提供 广播 级 品质 图 像 ， 可 与 视频 分 析 软 件 及 视线 光标 、 时 间 戳 、 试 验 信息 、 图 标 等 可 












































3.5 iView X HED 系统 (Æ) 及 视频 效果 示例 Cf) 

自 定义 视频 覆盖 数据 完美 结合 。 记 录 的 数据 和 信息 包括 瞳孔 尺寸 和 辅助 设备 上 的 用 户 信 息 ， 
用 户 可 以 通过 网 络 或 与 其 他 系统 串 行 连接 的 方式 对 数据 记录 进行 在 线 传输 。 

该 系统 的 一 个 典型 应 用 是 驾驶 员 行 为 安全 研究 ， 尤 其 是 对 飞机 驾驶 员 行 为 的 安全 监控 。 
应 用 时 ， 使 用 者 头 戴 头 盔 ， 头 盔 上 装 有 半 反 半 透 镜 和 红外 线 摄像 头 。 标 准 配置 头盔 为 有 线 连 
接 ， 也 可 以 选择 无 线 遥 测 头 盔 。 使 用 者 目光 透 过 眼前 的 半 反 半 透 镜 注 视 物 体 图 像 ， 一 部 分 光 
线 反射 到 摄像 头 被 记录 下 来 从 而 确定 眼球 和 瞳孔 的 位 置 ， 计 算出 眼球 的 水 平和 垂直 运动 的 时 
间 、 距 离 、 速 度 及 瞳孔 直径 。 另 一 个 摄像 头 摄取 使 用 者 注视 的 图 像 ， 并 确定 注视 位 置 。 摄 像 
机 追踪 虹膜 和 瞳孔 上 的 角膜 反射 对 头 部 相对 运动 进行 补偿 。 对 于 每 个 用 户 ， 初 始 校准 需要 十 
几 秒 钟 ， 校 准时 用 户 注 视 若 干 个 事先 设 定好 的 点 。 使 用 者 头 部 甚至 全 身 和 运动 时 ， 头 部 运动 传 
感 需 测 得 的 数据 对 注视 数据 进行 修正 从 而 得 到 精确 的 注视 数据 。 系 统 还 配置 另 一 台 计 算 机 来 
控制 系统 的 多 种 功能 ， 如 视觉 刺激 、 数 据 采 集 等 。 

5. Polhemus-Visiontrack £& 5| ^ 

VisionTrack 是 由 ISCAN 公司 研发 的 一 款 实时 的 眼 部 及 头 部 跟踪 系统 。 系 统 为 头 戴 式 ， 
可 以 完全 不 受 头 部 移动 的 影响 ， 且 可 以 对 人 眼 部 所 观察 的 资料 进行 分 析 。 系 统 如 图 3.6 所 
Ze 














3.6  Polhemus-Visiontrack 系列 系统 
该 系统 的 硬件 组 成 包括 一 台 PC、 眼 部 跟踪 处 理 器 、 自 动 校准 处 理 器 、 视 频 监视 器 和 缆 
线 ， 以 及 一 些 升级 选项 ， 如 双 目 系统 和 VisionTrack 无 线 系 统 等 。 
该 系统 设置 和 目标 校准 都 十 分 快速 、 简 单 。VisionTrack 系统 在 任何 光线 条 件 下 几乎 都 能 
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正常 工作 。 该 系统 可 以 适用 于 多 种 目标 ， 包 括 使 用 者 佩戴 普通 眼镜 、 太 阳 镜 、 隐 形 眼镜 ， 以 
及 不 同 的 人 的 眼 瞪 情况 。 其 眼 部 成 像 和 场景 成 像 部 件 具 有 体积 小 、 重 量 轻 的 特点 ， 并 能 保证 
较 高 的 瞳孔 及 裸眼 数据 的 精度 。 该 系统 具有 目标 凝视 点 校准 功能 ， 用 户 可 以 通过 该 系统 在 几 
分 钟 之 内 完成 校准 工作 。 全 部 的 数据 收集 和 校准 程序 均 可 在 操作 员 的 控制 台 完 成 。 系 统 软 件 
可 以 自动 计算 出 检测 数据 的 平均 值 ， 最 大 、 最 小 及 标准 差 值 。 

VisionTrack 允许 目标 的 头 部 和 眼 部 自由 运动 ， 可 以 同时 收集 眼睛 动作 和 注视 点 数据 。 采 
用 美国 Polhemus 公司 的 Fastrak 头 部 运动 电磁 跟踪 系统 ， 用 户 可 以 在 跟踪 眼 部 动作 的 同时 完 
成 头 部 动作 跟踪 。 

该 系统 可 提取 和 记录 目标 的 眼睛 图 像 和 裸眼 动作 ， 可 收集 瞳孔 和 角膜 反射 位 置 数 据 ， 包 
括 瞳 和 孔 直径 及 各 种 辅助 参数 等 。 数 据 收集 完毕 后 ， 用 户 可 以 在 系统 上 轻松 地 对 数据 进行 浏 
览 、 打 印 、 导 出 或 者 保存 。 

该 系统 可 应 用 于 蜀 驶 行为 评价 、 人 因 分 析 、 视 觉 研究 、 心 理 实验 和 残疾 人 人 机 交互 等 领 
域 。 

目前 ，Polhemus-Visiontrack 系列 产品 主要 有 Polhemus-Visiontrack Monocular; Polhemus- 
Visiontrack Binocular 及 Polhemus-Visiontrack Global System。 


3.1.2 EFRR CEMA) 视线 追踪 系统 


非 穿 戴 式 视线 追踪 系统 也 称 遥 测 式 、 非 侵入 式 系统 ， 这 种 视线 追踪 系统 不 与 使 用 者 接 
触 。 其 系统 构成 一 般 包 括 摄像 机 、 光 源 、 何 服 机 构 等 。 非 穿戴 式 系统 的 显著 优点 是 对 人 的 干 
扰 性 小 ， 可 以 长 期 使 用 。 但 同时 也 带 来 了 一 些 缺 点 ， 由 于 人 和 摄像 机 的 距离 不 固定 ,使 得 后 
续 图 像 处 理 的 工作 难度 增 大 。 例 如 ,使 用 者 头 动 过 程 中 摄像 机 拍摄 的 图 像 质 量 不 能 始终 得 到 
保证 ， 从 而 增加 准确 地 定位 眼球 位 置 的 难度 。 同 时 ， 由 于 头 部 的 活动 ， 视 线 检测 的 参照 系 就 
不 能 选择 头 部 ， 而 头 部 的 每 一 个 姿态 都 涉及 将 视线 换算 到 指定 参照 系 的 问题 ， 影 响 了 系统 的 
精度 。 

1. QuickGlance2 系列 

它 是 由 美国 EyeTech Digital Systems 公司 人 研发 的 桌 上 遥测 眼 动 跟踪 系统 ， 是 其 目前 最 高 
端的 产品 ， 如 图 3.7 所 示 。 该 系统 是 鼠标 的 替代 产品 ， 它 采用 红外 主动 光源 ， 无 需 与 人 接 
触 ， 红 外 光源 波长 控制 在 800 ~ 1000nm， 对 
人 有 眼 照度 控制 在 每 平方 厘米 不 超过 0. SmW。 

该 系统 的 视线 追踪 精度 为 1" ,但 它 要 求 
使 用 者 的 眼睛 不 能 离开 摄像 机 视野 范围 ， 即 
人 头 不 能 有 大 范围 晃动 ， 只 能 保持 在 一 个 有 
限 的 区 域内 。 

该 系统 计算 机 可 采用 台式 机 或 笔记 本 电 
lij (800MHz RER), fF Windows98/XP 
及 以 上 操作 系统 ， 需 配置 1394 端口 。 

2. EyeTech Digital Systems-TM3 ^" 

它 是 由 EyeTech Digital Systems 公司 研发 
的 一 款 便携 式 眼球 追踪 器 ， 是 桌面 遥测 式 视 图 3.7  QuickGlanee2 系列 眼 动 追踪 装置 
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线 追 踪 系 统 ， 携 带 方便 、 易 于 安装 、 使 用 简便 。 系 统 如 图 3.8 所 示 。 





图 3.8 EyeTech Digital Systems-TM3 视线 追踪 系统 

TM3 系统 便 件 要 求 与 QuiekGlanee2 系列 产品 基本 相同 ， 要 求 计算 机 配备 奔腾 800MHz 以 
上 的 处 理 器 、 一 个 1394 端口 、Windows98 或 WindowsXP 系统 、 至 少 128MB 的 内 存 及 至 少 
50MB 的 磁盘 安装 空间 。 

TM3 系统 基于 主动 红外 光源 的 亮 暗 瞳 技 术 ， 产 生 角 膜 反射 的 光源 采用 由 红外 发 光 二 极 
管 构成 的 发 光 阵 列 ， 分 为 左右 两 个 光源 。 红 外 光源 波长 控制 在 800 ~ 1000nm， 对 人 有 眼 的 照度 
控制 在 每 平方 厘米 不 超过 0. 5mW。TM3 系统 的 全 部 光学 系统 采用 集成 设计 ， 使 安装 和 调试 
过 程 都 非常 简便 。 

TM3 系统 的 视线 追踪 精度 为 1*， 但 要 求 使 用 者 的 眼睛 不 能 离开 摄像 机 视野 范围 。 即 用 
户头 部 不 能 有 大 范围 的 移动 ， 范 围 根据 系统 采用 的 摄像 机 视野 的 不 同 而 不 同 ， 对 于 3S 款 的 
产品 ， 使 用 者 头 部 应 尽量 保持 在 一 个 6cm x6em 的 有 限 区 域内 ;， 对 于 3SH 款 的 产品 ， 活 动 区 
域 大 约 为 10cm x 10cm。 

TM3 系统 具备 书写 、 浏 览 网 页 、 计 算 机 辅助 设计 、 游 戏 等 多 种 功能 ， 适 用 于 科研 、 娱 
乐 、 电 脑 辅助 设计 、 残 疾 或 功能 障碍 辅助 等 诸多 领域 。 

3. ASL R 系列 眼 动 仪 

HRT, E ASL 公司 高 端的 遥测 式 眼 动 追 踪 仪 产品 是 R 系列 的 Re 型 。 作 为 一 款 高 端的 
智能 化 视线 追踪 系统 ， 可 以 检测 并 追踪 各 类 人 群 
的 眼睛 。 该 系统 的 采样 输出 频率 是 50/60Hz， 视 
线 检测 采用 瞳孔 -角膜 反射 的 原理 ， 视 线 追 踪 精 
度 为 0. 5°， 对 眼睛 距离 的 要 求 为 最 小 20in、 最 大 
40in， 视 觉 范 围 为 水 平 S0"、 垂 直 40°, ASL R6 
型 遥测 式 眼 动 追踪 仪 如 图 3. 9 所 示 。 

ASL Model 504!" 也 是 美国 ASL 公司 研发 的 
一 款 眼球 位 置 追踪 系统 ， 利 用 检测 的 视线 来 控制 
屏幕 上 的 光标 位 置 ， 也 就 是 说 眼睛 注视 屏幕 的 哪 
一 个 方位 ， 光 标 就 指向 哪个 位 置 。 该 系统 的 测量 
范围 约 40in， 结 合 头 部 的 动态 追踪 器 ， 可 以 降低 
头 部 运动 带 来 的 影响 。 它 可 应 用 于 虚拟 实现 等 领 图 3.9 ASL R6 型 遥测 式 眼 动 追踪 仪 






































第 3 章 典型 视线 追踪 系统 及 构成 . 31 . 





域 ， 产 品 如 图 3. 10 所 示 。 

ASL Model 504 系统 采用 瞳孔 -角膜 反射 方法 ， 
视线 追踪 精度 为 0.5"， 采 样 频率 为 50Hz, 60Hz, 
120Hz 及 240Hz (最 优 情 况 ) ， 视 线 追 踪 范 围 为 水 
Æ 50^. ŒH 40°, 

4. Smart Eye 系列 眼 动 仪 (21 

Smart Eye AntiSleep2. 0 眼 动 仪 是 由 美国 Smart 
Eye 公司 设计 和 研制 的 一 款 眼 动 仪 。 其 设计 、 成 本 
及 外 形 等 方面 都 充分 考虑 了 汽车 行业 的 需求 。 系 统 
使 用 一 个 标准 的 VCA 级 分 辩 率 摄像 头 并 配 有 红外 
闪光 灯 。 摄 像 头 和 闪光 灯 采 用 一 体 化 设计 ， 外 形 小 








滤 光 片 的 频率 将 外 界 光线 的 干扰 降 至 最 低 ， 即 系统 提供 的 光源 可 以 适用 于 驾驶 过 程 中 不 同 自 
然 光照 条 件 。 

Smart Eye AntiSleep2. 0 眼 动 仪 具有 驾驶 员 头 部 模型 自动 初始 化 及 视线 方向 初始 校准 功 
能 ,适用 于 所 有 的 自然 光照 条 件 及 驾驶 员 佩 戴 不 同 种 类 眼镜 的 情况 ， 适 用 于 不 同年 龄 段 、 不 
同 种 族 、 不 同性 别 的 驾驶 员 。 

Smart Eye AntiSleep2. 0 眼 动 仪 可 对 驾驶 员 的 头 部 位 置 、 视 线 方向 及 眼 瞪 运动 进行 检测 ， 
其 采样 输出 频率 为 60Hz， 头 部 位 置 检 测 精度 为 10mm， 头 部 方向 检测 精度 为 3" ， 视 线 注视 方 
向 检测 精度 为 10"， 眼 瞪 开 合 检测 精度 为 2mm。 头 部 位 置 〈 与 正常 驾驶 位 置 相对 的 测量 范 
围 ) : x 方 向 200mm、7y FE 150mm, z 方向 200mm。 头 部 方向 〈 与 正常 驾驶 位 置 相 对 的 测量 
范围 ) : Theta; 30?, Phi; 20?, Psi; 30°, [| 3. 11 所 示 为 Smart Eye AntiSleep2. 0 眼 动 仪 。 

Smart Eye Pro 5. 4 智能 眼 动 仪 也 是 美国 Smart Eye 公司 所 研发 的 眼 动 仪 系列 产品 之 
一 。 该 款 产 品 屏幕 测量 精度 非常 高 ， 可 以 帮助 用 户 准确 辨别 图 像 细 节 ， 可 以 分 辨 出 使 用 者 观 
察 仪表 盘 上 的 具体 位 置 ， 如 油 量 表 或 速度 表 等 。 系 统 最 多 能 配置 6 个 摄像 头 ， 可 以 进行 
360° 全 视 域 测 量 。Smart Eye Pro5. 4 智能 眼 动 仪 如 图 3. 12 所 示 。 




















到 3.11 Smart Eye AntiSleep2.0 眼 动 仪 图 3. 12 Smart Eye Pro 5. 4 智能 眼 动 仪 


该 系统 理想 条 件 下 的 视线 追踪 精度 为 0.5"， 采 样 频率 为 60Hz， 人 允许 自然 的 头 部 运动 ， 
采用 红外 照明 ， 避 免 了 外 部 光线 影响 ;可 灵活 进行 摄像 机 布置 ， 能 适应 多 种 测试 场景 并 具有 
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遥控 功能 ; 具有 半自动 化 面部 轮 廊 图像 生成 功能 ， 可 以 进行 自动 检测 ; 程序 开发 工具 包 可 帮 
助 用 户 自 行 编写 应 用 程序 ; 能 够 对 摄像 头 录制 的 视频 进行 离线 分 析 ; 并 且 配 有 相应 的 应 用 脚 
本 ， 用 于 将 日 志 导 入 MATLAB 或 SciLab。 

5. iView X 系列 视线 追踪 系统 ''” 

德国 SM 公司 开发 的 iView X 系列 视线 追踪 系统 是 可 放置 在 梨 面 上 的 遥测 式 视线 追踪 系 
统 。 与 iView X HED ( 头 戴 式 ) 同属 一 个 系列 ， 采 样 频 率 也 是 530/60Hz， 受 遥测 形式 限制 ， 
对 人 的 运动 范围 有 要 求 ， 如 用 户 距 摄像 机 的 距离 应 为 0.4 ~1.0m 之 间 ， 头 部 应 保证 在 距 摄 
像 机 前 80cm 的 一 个 40cm x 40cm 的 区 域内 才 会 有 较 好 的 效果 。 系 统 本 身 还 提供 了 追踪 结 
分 析 软 件 ， 图 3. 13 下 方 所 示 为 一 个 软件 分 析 平 台 示 例 。 
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3.13 iView X RED 系列 视线 追踪 系统 及 软件 分 析 平 台 

iView X RED 眼 动 仪 具有 独特 的 三 合 一 功能 ， 可 在 同样 的 系统 下 同时 使 用 监控 器 、 放 映 
器 及 平面 媒体 。 高 分 辩 率 的 图 像 传 感 器 使 得 用 户 能 够 在 一 个 较 大 的 操作 范围 内 自由 转动 头 
部 ， 强 大 的 软件 自动 定位 眼 动 轨迹 ， 并 能 够 补偿 眼镜 或 隐形 眼镜 造成 的 影响 。 

该 系统 的 辅助 装置 和 控制 装置 集 于 一 体 ， 遥 控 红 外 摄像 头 具 有 自动 聚焦 功能 ， 能 够 进行 
自动 虹膜 追踪 、 自 动 瞳 孔 追 踪 ， 并 记录 高 品质 的 眼 动 数据 和 情景 视频 ， 能 够 准确 测量 对 平面 
刺激 (如 屏幕 、 海 报 ) 的 凝视 位 置 (水 平 维度 /垂直 维度 ) 及 校正 过 的 瞳孔 大 小 ， 并 可 通过 
凝视 指针 记录 刺激 屏幕 宽度 ; 自动 分 析出 用 户 视野 范围 内 的 兴趣 区 域 ， 通 过 软件 实现 强大 的 
数据 分 析 功 能 ， 所 记录 的 数据 都 可 以 按照 ASCI 格 式 输出 ， 并 实现 后 续 的 统计 分 析 。 

6. iView X Hi-Speed 1250 

德国 SMI 公司 的 iView X Hi-Speed 1250 采样 率 可 达 1250Hz， 延 迟 不 超过 0. Sms; 采样 频 
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率 1250/500Hz (单眼 ) 500Hz (双眼 ) ; 追踪 分 辩 率 小 于 0.01°， 视 线 追 踪 精 度 为 0. 25° ~ 
0.5°; 视觉 范围 为 水 平 30*,， ÆA 30° (E) 和 45° (下 )。 

为 了 与 大 多 数 主流 软件 进行 结合 ，iView X Hi-Speed 1250 系统 提供 硬件 及 软件 接口 ， 具 
备 通过 刺激 软件 包 实现 远 程控 制 及 数据 流传 输 能 力 。 在 使 用 过 程 中 ,使 用 者 的 头 部 通过 符合 
人 体 工 效 学 的 颇 托 舒适 固定 ， 并 连接 上 系统 摄像 机 。 系 统 及 视频 效果 如 图 3. 14 所 示 。 
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图 3.14 iView X Hi-Speed 1250 系统 及 视频 效果 示例 

7. Tobii 系列 眼 动 仪 '”3 

Tobii 系列 眼 动 仪 是 由 瑞典 Tobii 公司 研发 的 眼 动 跟踪 系统 系列 产品 ， 目 前 有 Tobii_C8、 
Tobii C12, Tobii T60, Tobii T120, Tobii T60 XL, Tobii X60, Tobii X120, Tobii CEye, 
MyTobii_P10 等 款 型 。 

其 中 ，Tobii_C8 是 一 种 基于 语音 交互 的 便携 式 交互 设备 ， 同 时 也 带 有 触摸 屏 设 备 。 用 
户 可 以 利用 该 系统 直接 进行 语音 对 话 ， 或 是 通过 网 络 邮 件 、 文 本 消息 或 一 些 聊天 工具 进行 交 
流 ， 同 时 也 可 以 通过 该 系统 轻松 灵活 地 编写 和 编辑 文档 、 浏 览 网 页 、 播 放 音 乐 、 玩 游戏 、 控 
制 电视 机 及 DVD 等 。 产 品 如 图 3. 14 所 示 。 

Tobii_C8 主要 技术 参数 : 2 个 集成 发 声 器 、2 个 集成 传声器 、Intel Core Duo2500 处 理 
器 、2GB DDR2 内 存 、 微 软 Vista 操作 系统 、60GB 硬盘 、1GB SD 卡 、640 像素 x 480 像素 摄 
像 头 。 产 品 如 图 3. 15 所 示 。 

Tobii_C12 是 Tobii C8 的 升级 产品 ， 其 
不 仅 有 语音 交互 功能 和 触摸 屏 功 能 ， 还 可 以 A 
进行 视线 跟踪 ， 具 备 视线 控制 系统 的 功能 。 /Ly 
利用 Tobii_C12 系统 ， 用 户 不 仅 可 以 直接 进 : 
行 语音 交流 或 控制 触摸 屏 ， 通 过 语音 或 触摸 
屏 进行 一 些 文档 的 编写 、 上 网 、 娱 乐 及 完成 
家 用 设备 的 控制 等 。 同 时 ,还 可 以 通过 视线 
的 盯 视 和 移动 完成 以 上 工作 ,使 用 非常 灵活 
便捷 。 产 品 如 图 3. 16 所 示 。 

Tobii_C12 主要 技术 参数 . 4 个 集成 发 声 
器 、2 个 集成 传声器 、Intel Core Duo2500 处 
HA, 2GB DDR2 内 存 、 微 软 Vista 操作 系统 、 





3.15 Tobii_C8 


“34 . 视线 追踪 





60GB 硬盘 、1GB SD E., 640 像素 x480 像素 摄像 头 。 

Tobii T60 和 Tobii_T120 是 瑞典 Tobii 公司 研发 
的 高 性 能 视线 追踪 器 ， 适 用 于 所 有 的 关于 屏幕 对 眼 
睛 刺激 的 视线 追踪 研究 ， 可 对 电子 广告 、 电 视 贸 易 、 
购物 系统 、 产 品 的 包装 和 设计 等 进行 测试 并 获得 测 
试 结果 ， 还 适用 于 网 页 、 软 件 、 游 戏 等 的 可 用 性 测 
试 研究 。 

Tobii T60 和 Tobii_T120 的 相关 的 技术 参数 : 视 
线 追 踪 精 度 为 0.5°; 采样 输出 频率 为 60Hz (Tobii_ 
T60) 120Hz (Tobii TI20) ; 头 部 可 动 范 围 为 44cm 
x22cm x 30cm (Tobi T60) 30cm x 22cm x 30cm 
(Tobii TI20) ; FIERE KCRLA Pi. P 3.17 所 示 图 3.16 Tobii C12 
为 Tobii T60/Tobii T120 视线 追踪 器 。 

Tobii T60 XL 是 一 款 带 显示 屏幕 的 视线 追踪 系统 。 系 统 使 用 过 程 中 允许 头 部 运动 范围 较 
大 。 它 适用 于 各 种 商业 应 用 和 有 眼 动 追踪 相关 的 科学 研究 ， 同 时 也 可 以 利用 该 套 系统 轻松 方便 
地 进行 电子 杂志 、 广 告 、 互 动 电视 、 电 子 游戏 的 测试 。 图 3. 18 所 示 为 Tobii_T60 XL 视线 追 
踪 器 。 
































图 3.17 Tobii_T60/Tobii_T120 视线 追踪 器 图 3.18 ”Tobii_T60 XL 视线 追踪 器 


该 系统 视线 追踪 精度 为 0.5"， 采 样 输出 频率 为 60Hz， 内 置 摄像 头 和 发 声 器 ， 人 允许 头 部 
运动 范围 为 40cm x20cm x27em, 

Tobii X60 和 Tobii X120 同样 是 章 越 的 视线 追踪 右 ， 适 用 于 任何 相关 的 视线 追踪 人 研究， 
可 以 与 任何 可 盯 视 设备 配合 使 用 ， 比 如 电视 机 或 其 他 播放 设备 、 投 影 仪 屏幕 、 现 实 的 实物 或 
是 场景 等 。 

Tobii X60 和 Tobii X120 的 技术 参数 : 视线 追踪 精度 为 0.5"; 采样 输出 频率 为 60Hz 
(Tobii X60), 120Hz (Tobi X120); 头 部 可 运动 范围 为 44cm x22cm x30cm (Tobii_X60) , 
30cm x22cm x30cm (Tobii_X120) 。 图 3. 19 所 示 是 Tobii_X60 视线 追踪 器 。 

Tobii CEye 是 一 款 跟 踪 精 度 高 的 视线 追踪 右 ， 同 时 有 具有 强大 的 图 像 处 理 系统 ， 人 允许 用 户 














第 3 章 典型 视线 追踪 系统 及 构成 . 35 . 





头 部 自由 移动 ， 无 论 用 户 的 种 族 、 性 别 、 年 龄 ， 或 是 用 户 是 否 带 眼 眼镜 等 都 不 影响 该 系统 对 
用 户 视线 的 准确 追踪 。Tobii_CEye 同时 还 具备 了 Tobii 系列 其 他 有 眼 动 跟踪 产品 的 各 种 功能 
用 户 可 以 通过 视线 灵活 而 简便 地 进行 娱乐 、 工 作 或 是 实现 各 种 控制 。 

MyTobii_P10 是 一 款 便携 式 视线 控制 交流 设备 ， 所 有 的 相关 人 硬件， 包括 15in 屏幕 、 视 线 
追踪 和 控制 设备 及 CPU 等 都 集成 在 一 个 单元 上 。 该 设备 可 以 安装 在 桌子 上 、 轮 椅 前 或 床 前 
等 任何 适合 用 户 使 用 的 地 方 。 其 具备 以 上 介绍 的 Tobi 系列 视线 追踪 器 的 所 有 功能 ， 使 用 灵 
活 方便 。 

MyTobii_P10 的 相关 技术 参数 : 视线 追踪 精度 为 0.5"; 采样 输出 频率 为 40Hz; 最 大 头 
动 补偿 误差 <1°; 15in 触摸 屏 ; 头 部 运动 范围 约 为 30cm x 15cm x20cm, KI 3. 20 所 示 是 My 


Tobii_P10 视线 追踪 屁 外 形 。 


图 3. 19  Tobii X60 视线 跟踪 器 &|3.20 ”MyTobii_P10 视线 跟踪 器 外 形 


























3.2 ”典型 的 视线 追踪 系统 构成 


3.2.1 单 摄像 机 无 光源 系统 
单 摄像 机 无 光源 系统 是 视线 追踪 系 


统 中 最 为 简单 的 结构 。 由 于 没有 其 他 辅 
助 设备 用 以 产生 特殊 的 生物 特征 效果 ， 
所 以 系统 得 到 的 用 户 信息 是 最 为 自然 与 
真实 的 ， 同 时 系统 对 用 户 周围 环境 的 要 
求 就 不 太 严格 。 但 正 是 由 于 没有 辅助 设 
备 ， 所 以 系统 采集 的 用 户 生理 特征 可 能 
较为 复杂 。 这 就 需要 系统 软件 算法 的 宛 
余 性 较 强 ， 能 够 去 除 用 户 使 用 环境 所 带 









































来 的 各 种 干扰 和 噪声 。 
上 海 交 通 大 学 机 器 人 研究 所 设计 的 和 | 3. 21 ”上海 交 通 大 学 机 器 人 人 研究 所 设计 





视线 追踪 系统 是 一 种 典型 的 单 摄像 机 无 HERE XODURTS AT 
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光源 系统 2 。 主 要 用 于 残疾 人 在 人 机 交互 中 的 字符 输入 ， 如 图 3. 21 所 示 。 系 统 选用 日 本 
WATEC 公司 生产 的 WAT-137LH 型 黑白 隔行 扫描 摄像 机 ， 镜 头 为 日 本 COMPUTAR 公司 生产 
的 M2514-MP 型 号 手动 调 焦 、 手 动 光 圈 镜 头 。 采 集 卡 为 比利时 EURESYS 公司 生产 的 PICOLO 
Pro 2 图 像 采集 卡 ， 它 支持 面 扫描 ， 卡 上 自 带 的 TTL IO 口 方便 系统 集成 。 由 于 显示 器 及 其 
分 辩 率 的 大 小 将 会 影响 到 字符 的 大 小 和 像素 在 屏幕 上 的 实际 位 置 。 为 了 提高 系统 的 适应 性 ， 
显示 上 需 选 用 常用 的 17in (WAR) 的 显示 器 ， 分 辨 率 为 1024 像素 x768 像素 。 





3.2.2. 单 摄像 机 单 光 源 或 双 光源 系统 
无 光源 系统 结构 简单 、 成 本 低 ， 但 使 用 特殊 光源 照射 用 户 所 产生 的 生理 效果 对 于 瞳孔 识 


别 和 检测 等 具有 极 好 的 辅助 作用 。 其 
产生 的 主要 眼 部 生理 特征 就 是 普尔 钦 
斑 和 亮 瞳 现象 。 尽 管 增加 了 系统 的 外 
部 硬件 配置 ， 但 这 样 做 极 大 地 简化 了 
视线 方向 所 需 的 眼 部 特征 的 检测 难 
度 ， 其 效果 是 单 摄像 机 无 光源 系统 所 
不 能 比拟 的 。 根 据 光 源 的 形状 ， 主 要 
分 为 环形 光源 和 阵列 光源 两 种 。 单 摄 
像 机 单 光源 系统 是 指 系统 采用 一 个 摄 
像 机 ， 而 一 个 红外 光源 用 来 在 角膜 上 
形成 普尔 钦 斑 点 。 单 摄像 机 双 光 源 系 
统 的 双 光 源 一 般 指 双环 形 红外 光源 或 
双 阵 列 式 红 外 光源 。 双 环形 红外 光源 
的 内 环 光源 为 近 光 轴 光 源 ， 其 交替 亮 灭 可 以 使 使 用 者 的 瞳孔 产生 亮 瞳 和 上 暗 瞳 现象 。 而 双 阵 列 
式 红 外 光源 可 以 在 角膜 上 产生 双 普 尔 钦 斑 。 下 面 介绍 典型 的 单 摄像 机 双环 形 红 外 光源 视线 追 
踪 系 统 。 

北京 科技 大 学 人 研制 的 单 摄像 机 双环 形 红外 光源 视线 追踪 系统 由 双环 型 红外 光源 、 滤 光 
片 、 摄 像 机 镜头 、 图 像 采 集 卡 、CCD、 
帧 同步 卡 、 单 片 机 、 主 机 和 显示 屏 构成 。 
双环 形 红外 光源 产生 亮 瞳 现象 和 普尔 钦 
斑 。 使 用 者 注视 屏幕 ， 由 CCD 摄像 机 获 
取 人 脸 图 像 ， 通 过 图 像 采 集 卡 传 到 主机 。 
主机 通过 特征 参数 提取 和 视线 映射 函数 
得 到 视线 落 点 ， 再 显示 在 屏幕 上 上。 硬件 [同步 采集 卡 





图 3. 22 视线 追踪 系统 实物 























系统 主要 由 CCD 摄像 机 、 图 像 采 集 卡 、 EN Brod 
计算 机 、 微 处 理 器 和 光源 组 成 。 系 统 实 3 É vou 5 
物 、 设 计 原理 及 硬件 设备 如 图 3. 22 、 图 Pe gg 
3.23 和 图 3. 24 所 示 。 侦 帧 信号 id p 
摄像 机 主要 用 于 采集 用 户 脸 部 和 头 红外 光源 


部 图 像 ， 采 用 PAL 制式 的 模拟 输出 方 [13.23 ”视线 追踪 系统 设计 原理 图 
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b) CCD 摄 像 头 c) 图 像 采 集 卡 


[43.24 ”视线 追踪 系统 硬件 设备 

式 。 在 得 到 人 脸 图 像 后， 传输 至 图 像 采 集 卡 进行 A-D 转换 和 预 处 理 ， 最 后 输入 至 计算 机 进 
行 图 像 处理 。 采 集 卡 选用 OK-M80 黑白 图 像 采集 卡 ， 适 用 于 工业 检测 和 科学 图 像 处 理 及 医疗 
影像 等 研发 领域 。OK-M80 采集 卡 除 了 将 采集 到 的 视频 图 像 传输 至 计算 机 外 ， 还 提取 了 图 像 
的 帧 同步 信号 以 供 微 处 理 器 读 取 并 作 相 应 的 处 理 。 

红外 光源 使 用 了 近 红 外 发 光 二 极 管 (Infrared Light Emitting Diode, IR LED), 波长 为 
880nm， 在 配合 了 相应 的 滤 光 片 后 ， 既 可 以 产生 “ 亮 暗 瞳 ” 图 像 ， 又 不 会 由 于 光照 影响 用 户 
的 使 用 。 红 外 光源 由 红外 LED 排列 而 成 ， 采 用 双环 形 设计 ,分 为 内 环 和 外 环 两 圈 。 内 环 紧 
靠 着 摄像 机 的 光学 镜头 ， 为 近 光 轴 光 源 。 外 环 远 离 摄像 机 的 光学 镜头 ， 为 远 光 轴 光 源 。 当 红 
外 光源 靠近 摄像 机 的 光 轴 时 ， 所 发 出 的 光线 与 摄像 机 
的 光 轴 近似 平行 ， 这 样 大 部 分 照射 到 瞳孔 的 光线 被 反 CCD 摄像 机 / | 
射 回 CCD 摄像 机 ， 图 像 中 就 出 现 了 “ 亮 瞳 ” 现 象 ， 其 | e I 
原理 与 照相 时 产生 的 “红眼 ”类 似 。 反 之 当红 外 光源 入 射 光 线 fa 
远离 摄像 机 的 光 轴 时 ， 所 发 出 的 光线 与 摄像 机 的 光 轴 Pae 





红外 光源 瞳孔 











夹 角 较 大 ， 这 样 照射 的 瞳孔 的 光线 很 少 反射 回 摄像 机 ， CCD 摄像 机 pe 
所 发 出 的 光线 和 交办 的 业 角 较 大 ， 图 像 中 就 出 现 所 谓 [ 上 Oca — 
“ 暗 瞳 ”现象 。 而 外 环 光源 在 角膜 上 的 反射 点 就 是 普 ss 
尔 钦 班 。 由 帧 同步 卡 输出 的 帧 同步 信和 号， 输入 单片机 Wat 














系统 ， 然 后 由 单片机 输出 帧 同步 信号 控制 内 环 和 外 环 图 3.25 EEA E ERE ERR 
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光源 交替 亮 灭 ， 就 会 在 序列 视频 的 相 邻 两 帧 中 产生 亮 瞳 和 暗 瞳 图 像 。 亮 瞳 和 暗 瞳 图 像 产生 原 
理 如 图 3. 25 所 示 。 光 源 原理 图 如 图 3. 26 所 示 。 交 源 实物 如 图 3. 27 所 示 。 


外 环 光源 。 ,内 环 光源 红外 光源 
1 光圈 / 

















正面 图 侧面 图 
图 3.26 光源 原理 图 &3.27 光源 实物 图 
3.2.3 单 摄像 机 多 光源 系统 
在 单 摄像 机 单 光 源 系统 的 基础 上 ， 多 光源 系统 的 配置 研究 也 得 到 了 较 大 的 发 展 。 多 光源 
系统 的 研发 为 视线 追踪 系统 软件 设计 提 L7 a E 





供 了 更 有 利 的 检测 和 计算 眼 部 生理 特征 
的 算法 。 但 为 了 达到 上 述 效果 ， 多 光源 
系统 在 硬件 设计 和 配置 合理 化 调整 方面 
需要 进行 额外 的 研究 ， 系 统 更 趋 于 复杂 。 
以 下 是 典型 的 单 摄像 机 多 光源 系统 。 

美国 IBM Almaden Research Center 的 
Morimoto 开发 的 低 成 本 实时 视线 追踪 系统 
使 用 了 主动 光源 技术 寻找 瞳孔 目标 。 系 
统 配置 了 B/W 主板 摄像 机 构建 图 像 采 集 
平台 ， 并 用 云 台 控 制 器 和 光源 设备 进行 到 3.28 单 摄像 机 双 光 源 视线 追踪 系统 
辅助 。 系 统 还 使 用 了 带 有 数字 转换 器 的 PC 工作 站 ， 整 个 系统 造价 约 20 000 美元 。 

图 3. 28 所 示 为 该 视线 追踪 系统 的 具体 配置 。 系 统 使 用 了 一 个 摄像 机 和 两 组 光源 ( 即 光 
源 1 和 光源 2) ， 近 红外 光源 的 波长 为 875nm (不 可 见 光 ) 。 系 统 使 用 了 较为 便宜 的 黑白 CCD 
摄像 机 ，CCD 需 件 为 MX3in， 并 配 有 可 见 光 带 阻 滤波 器 。 摄 像 机 规格 为 40mm x 40mm x 
1$mm， 镜 头 为 直径 12mm 的 可 调 焦 镜头 。 

光源 1 接近 摄像 机 光 轴 ， 用 以 产生 亮 瞳 现象 。 光 源 2 远离 光 轴 ， 在 提供 同一 光照 背景 的 
情况 下 用 以 产生 普尔 钦 斑 。 


3.2.4 多 摄像 机 多 光源 系统 




















手 无 策 ， 为 此 研究 人 员 将 注意 力 逐 渐 转 向 了 多 摄像 机 多 光源 系统 的 研制 。 通 过 多 摄像 机 系统 
可 以 获得 眼球 的 三 维特 征 ， 进 而 获取 三 维 眼球 视线 参数 ， 可 以 根据 眼球 的 空间 几何 结构 模型 
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计算 视线 方向 。 多 摄像 机 多 光源 系统 总 体 可 分 为 两 类 ; 

1) 多 摄像 机 组 成 的 瞳孔 检测 和 头 部 运动 补偿 系统 ; 

2) 多 摄像 机 组 成 的 机 器 视觉 系统 。 

第 一 种 是 在 单 摄像 机 系统 的 基础 上 改进 而 来 的 ， 通 过 额外 增加 一 个 摄像 机 来 采集 用 户头 
动情 况 ， 以 提取 用 户头 部 和 运动 的 轨迹 信息 ， 进 而 进行 头 部 运动 补偿 ， 以 消除 其 对 视线 追踪 系 
统 中 计算 视线 追踪 精度 的 影响 。 

第 二 种 则 采用 了 较为 不 同 的 设计 方式 。 通 过 使 用 两 个 完全 相同 的 摄像 机 组 成 的 机 侨 视觉 
系统 进行 眼 部 特征 检测 和 视线 方向 计算 。 

多 摄像 机 多 光源 系统 是 视线 追踪 系统 技术 发 展 的 一 个 新 的 方向 。 尤 其 是 机 器 视觉 技术 的 
引入 ， 可 以 解决 单 摄像 机 系统 对 用 户头 动 无 能 为 力 的 问题 。 但 多 摄像 机 多 光源 系统 依然 有 不 
足 ， 其 复杂 的 硬件 配置 和 设计 、 繁 琐 的 系统 标定 和 预 处 理 及 内 容 庞大 的 程序 算法 都 对 其 走向 
实际 应 用 提出 了 挑战 。 下 面 介绍 几 个 典型 的 多 摄像 机 多 光源 典型 系统 。 

(1) 美国 Rensselaer Polytechnic Institute 的 朱 7 FERE 
志 伟 (Zhu ZhiWei) 等 研发 的 视线 追踪 系统 2 | 

系统 有 两 个 安装 在 显示 器 下 方 的 摄像 机 ， 红 
外 光源 安装 在 镜头 的 边 上 ， 用 以 产生 普尔 钦 斑 和 
亮 瞳 ， 如 图 3. 29 所 示 。 使 用 前 ， 要 进行 两 个 步骤 
的 系统 标定 : 

第 一 步 是 通过 摄像 机 标定 得 到 立体 摄像 机 的 
系统 参数 。 一 旦 摄像 机 系统 标定 完成 ， 那 么 在 摄 
像 机 前 的 任意 一 点 ， 其 三维 坐标 就 可 以 利用 它 在 
两 个 摄像 机 上 的 点 重 构 得 到 。 

第 二 步 是 得 到 红外 光源 和 显示 器 在 立体 摄像 
机 系统 坐标 下 的 三 维 位 置 。 但 是 红外 光源 和 显示 
器 都 在 摄像 机 的 视野 之 外 ， 所 以 红外 光源 和 显示 器 的 定位 不 能 直接 通过 摄像 机 观察 得 到 。 
此 ， 要 使 用 一 个 带 有 一 系列 基准 标记 的 平面 镜 进 行 辅助 定位 。 通 过 这 个 平面 镜 反射 观察 到 光 
源 和 屏幕 后 ， 就 可 以 利用 摄像 机 系统 进行 定位 了 。 

(2) 美国 IBM Almaden Research Center 的 Beymer seamy 
研发 的 视线 追踪 系统 529 

系统 硬件 主要 分 为 用 以 检测 脸 部 特征 的 宽 视 野 立 
体 视 觉 系 统 ， 以 及 进行 视线 追踪 检测 的 窗 视 野 立 体 视 
觉 系统 ， 如 图 3.30 所 示 。 

宽 视野 立体 视觉 系统 ， 位 于 屏幕 正 下 方 的 中 心 位 
置 。 由 于 脸 部 特征 主要 处 于 水 平 状 态 ， 所 以 立体 视觉 
系统 的 基线 方向 为 垂直 方向 ， 这 样 能 够 与 脸 部 特征 的 
中 心 达到 最 优 的 匹配 状态 。Beymer 选用 了 货架 立体 
视觉 系统 ， 镜 头 焦 距 为 4. 8mm， 水 平视 角 为 74°*。 当 
用 户头 部 距离 摄像 机 600mm 左右 时 ， 足 以 检测 到 图 3.30 美国 IBM Almaden Research Center 
Imm 左右 的 水 平头 部 移动 。 当 头 部 移动 需要 追踪 眼 "Pome 建立 的 多 摄像 机 多 光源 系统 











3.29 美国 Rensselaer Polytechnic Institute 
的 朱 志 伟 研制 的 视线 追踪 系统 




















宽 视 野 图 像 AUF ENA 
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部 信息 时 ， 宽 视野 摄像 机 系统 会 传输 给 窄 视野 系统 相应 的 指令 。 

两 个 窗 视 野 摄像 机 组 成 的 立体 视觉 系统 ， 分 别 位 于 屏幕 的 两 个 底 角 ， 用 以 捕获 高 清晰 的 
眼 部 图 像 ， 便 于 后 续 的 视线 追踪 处 理 。 由 于 使 用 的 是 窗 视 野 摄 像 机 ， 所 以 头 部 移动 的 速度 要 
比 摄像 机 转动 速度 快 。 因 此 ， 为 了 能 够 跟踪 头 部 移动 ， 使 用 了 可 以 提供 2ms 移动 能 力 的 旋 
转 镜子 ， 以 实现 对 头 部 的 实时 跟踪 。 摄 像 机 的 移动 与 摄像 机 的 刷新 周期 是 一 致 的 ， 这 样 就 保 
证 了 图 像 的 质量 。 

窄 视野 摄像 机 的 镜头 焦距 为 49mm， 是 NTSC 制式 输出 的 CCD 摄像 机 。 由 于 镜头 焦距 过 
长 降低 了 清晰 成 像 的 稳定 度 ， 所 以 系统 使 用 电动 机 完成 自动 对 焦 功 能 。 

系统 设计 了 一 个 安装 于 镜头 前 的 环形 光源 ， 用 来 产生 角膜 反射 的 普尔 钦 斑 以 实现 视线 追 
踪 。 

(3) 韩国 高 级 科技 研究 所 的 Dong Hyun Yoo 开发 的 视线 追踪 系统 '*] 

该 系统 为 了 使 头 部 运动 不 影响 视线 精度 ， 使 用 了 5 个 IR LED 光源 和 2 台 摄 像 机 ， 如 图 
3.31 所 示 。4 个 IR LED 光源 分 别 在 显示 器 的 4 个 边 角 ， 用 来 产生 普尔 钦 斑 。 另 1 个 IR LED 
光源 在 摄像 机 镜头 的 中 间 ， 用 来 产生 亮 瞳 效果 。4 个 边 角 上 的 IR LED 同时 亮 灭 ， 而 在 摄像 
机 上 的 IR LED 则 独立 运行 。 这 些 IR LED 通过 计算 机 的 并 口 控制 。IR LED 的 亮 灭 转换 与 图 
像 的 捕获 是 同步 的 。 显 示 器 上 的 LED 产生 了 普尔 钦 斑 ，4 个 普尔 钦 斑 可 以 在 图 像 中 看 到 。 因 
为 产生 的 普尔 钦 斑 对 应 位 置 在 显示 器 上 ， 所 以 由 普尔 钦 斑 组 成 的 多 边 形 可 以 假设 为 显示 器 的 
反射 。 通 过 将 图 像 空 间 映 射 至 显示 器 屏幕 ， 可 以 使 用 这 些 普 尔 钦 斑 估 计 视 线 盯 视 方向 。 在 摄 
像 机 上 放置 的 IR LED 生成 了 亮 瞳 效果 。 

摄像 机 安置 在 云 台 上 ， 所 以 脸 部 和 眼 部 都 可 以 被 同步 追踪 。 用 一 个 具有 高 分 辨 率 和 高 放 
大 倍数 的 摄像 机 观察 眼 部 信息 ， 则 捕获 的 眼 部 信息 越 多 ， 系 统 精度 就 会 越 高 。 然 而 ， 有 时 使 
用 一 个 高 放大 倍数 的 摄像 机 跟踪 眼 部 较 难 ， 因 为 摄像 机 镜头 的 视野 较 宗 ， 所 以 轻微 的 头 动 就 
可 使 眼睛 偏离 摄像 机 的 视野 区 域 。 因 此， 当 窜 视野 相机 丢失 眼睛 时 ， 就 需要 一 个 宽 视野 的 摄 
像 机 来 实时 捕获 眼睛 位 置 。 所 以 ,需要 一 个 追踪 脸 部 的 宽 视野 摄像 机 子 系统 。 脸 部 追踪 系统 
连续 地 追踪 脸 部 信息 ， 并 且 告 知 云 台 进行 相应 的 调整 。 这 样 云 台 就 可 以 控制 窄 视野 摄 像 机 在 
合适 的 位 置 捕获 眼 部 信息 。 




































































宽 视野 摄像 机 




















到 3.31 韩国 高 级 科技 研究 所 的 Dong Hyun Yoo 设计 的 多 摄像 机 多 光源 系统 





型 视线 追踪 系统 及 构成 .41 . 
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3.3 本章 小 结 


视线 追踪 系统 按 系 统 构成 和 采用 的 视线 检测 方法 不 同 可 以 粗略 地 划分 为 侵入 式 和 非 侵 入 
式 ， 或 称 穿戴 式 或 遥测 式 。 这 在 很 多 领域 有 着 广泛 的 应 用 ， 长 期 以 来 很 多 国家 都 致力 于 视线 
追踪 技术 的 研究 和 实用 化 。 本 章 按 侵入 式 和 非 侵 入 式 系统 进行 分 类 ， 对 当前 国际 知名 和 典型 
的 视线 追踪 产品 进行 总 结 和 介绍 ， 其 中 EyeLink 、Tobii 等 产品 在 中 国 均 有 销售 。 在 “典型 的 
视线 追踪 系统 构成 ”一 节 中 ， 对 单 摄像 机 无 光源 系统 、 单 摄像 机 单 〈 双 ) 光源 系统 、 单 摄 
像 机 多 光源 系统 及 多 摄像 机 多 光源 系统 等 不 同 的 视线 追踪 系统 的 构成 进行 了 总 结 和 介绍 ， 意 
在 使 读者 对 典型 视线 追踪 系统 的 硬件 构成 有 所 了 解 。 其 中 ， 重 点 介绍 了 北京 科技 大 学 研制 的 
单 摄像 机 双环 形 红 外 光源 系统 的 硬件 构成 原理 。 
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44 — 图 像 预 处 理 


图 像 预 处 理 是 机 器 视觉 系统 中 的 重要 组 成 部 分 ， 其 主要 目的 是 改善 图 像 的 质量 或 视觉 效 
果 ， 为 图 像 的 特定 应 用 作 准 备 。 其 主要 内 容 包 括 : 图 像 滤波 和 图 像 增 强 。 其 中 ， 图 像 滤波 的 
目的 是 去 除 图 像 中 的 噪声 或 提取 较 大 目标 前 去 除 较 小 的 细节 和 将 目标 内 的 小 的 间断 连接 起 
来 ,图像 增 强 的 目的 是 使 图 像 细 节 更 加 清晰 。 本 章 在 简要 阅 述 反对 称 双 正 交 小 波 和 细胞 神经 
网 络 (Cell Neural Network, CNN) 相关 理论 的 基础 上 ， 主 要 介绍 了 图 像 增强 方法 和 图 像 滤 
波 方法 ， 即 分 别 介绍 基于 反对 称 双 正 交 小 波 重 构 的 图 像 增强 方法 和 基于 边缘 检测 和 双边 滤波 
的 彩色 图 像 滤 品 方法。 这 两 种 方法 均 可 应 用 于 视线 追踪 系统 进行 图 像 预 处 理 ， 改 善 视线 追踪 
系统 所 摄取 图 像 的 质量 ， 使 之 更 适合 于 后 续 的 眼 部 特征 及 视线 参数 检测 。 


4.1 基于 反对 称 双 正 交 小 波 重 构 的 图 像 增 强 方法 


图 像 增强 是 指 按 实际 需要 采取 相应 的 技术 手段 强调 图 像 中 的 某 些 特征 而 抑制 其 他 信息 ， 
改善 视觉 效果 ， 或 使 之 更 适合 于 图 像 的 后 续 人 处 理 及 特定 应 用 过 程 。 作 为 基本 的 图 像 处 理 技 
术 ， 图 像 增强 包含 的 内 容 比 较 广 泛 ,广义 上 包括 对 比 度 增强 ， 边 缘 、 轮 廓 、 纹 理 增强 ， 岁 像 
锐 化 ， 噪 声 去 除 及 几何 畸变 校正 等 。 其 中 ， 图 像 对 比 度 与 灰 度 梯度 相关 ， 对 比 度 的 高 低 预 示 
着 灰 度 梯度 的 大 小 ,边缘 、 轮 廓 和 纹理 增强 也 意味 着 对 比 度 增 强 。 根 据 具 体 应 用 目的 的 不 
同 ， 图 像 增 强 方法 主要 有 三 类 : 空间 域 增 强 方法 、 变 换 域 增 强 方法 和 基于 参数 优化 的 方法 。 
其 中 ， 变 换 域 增强 方法 是 将 图 像 变换 到 频 域 或 小 波 域 ， 对 图 像 的 变换 系数 进行 某 种 修正 ， 然 
后 通过 道 变 换 获 得 增强 的 图 像 ， 如 基于 傅 里 叶 变换 的 同 态 增 晰 方法 。 

小 波 变换 以 其 优异 的 时 频 域 局 部 化 和 多 分 辨 率 分 析 能 力 在 图 像 处 理 领域 得 到 了 广泛 的 应 
用 。 在 现 有 文献 中 ， 小 波 域 图 像 增强 方法 主要 有 两 种 : 

1) 小 波 变 换 反 镜 化 手 模 法 ， 通 过 原始 图 像 琶 加 原 图 与 小 波 分 解 低频 分 量 之 差 ， 实 现 边 
缘 锐 化 ; 

2) 小 波 变换 高 频 增强 法 ， 即 利用 小 波 分 解 ， 将 原始 图 像 中 高 频 分 量 和 低频 分 量 进行 不 
同 程度 的 分 离 ， 然 后 采用 不 同 的 方法 来 增强 不 同 太 度 的 图 像 细节 分 量 。 

有 文献 证 明 小 波 变 换 高 频 增强 法 与 小 波 变 换 反 锐 化 掩 模 法 有 内 在 的 联系 。 对 小 波 分 解 后 
的 高 频 通 道 乘 以 适当 的 增益 ， 其 结果 类 似 于 小 波 变 换 反 锐 化 掩 模 法 处 理 结果 。 

小 波 域 图 像 增 强 往 往 和 滤 吕 问题 联系 在 一 起 ， 即 滤 品 和 滤 品 增强 。 滤 噪 的 核心 问题 是 在 
小 波 域 数据 区 别 噪声 系数 和 图 像 边缘 系数 。 对 此 ， 国 内 外 学 者 做 了 大 量 的 研究 工作 ， 提 出 了 
小 波 收缩 法 、 小 波 模 极 大 值 法 、 相 关 性 去 噪 法 等 滤 噪 法。 小 波 收 缩 法 分 为 比例 收缩 法 和 净值 
收缩 法 。 比 例 收缩 法 通过 度量 小 波 系 数 被 噪声 污染 的 程度 ， 来 确定 系数 收缩 的 比例 。 姜 值 收 
缩 法 通过 选取 适当 的 阔 值 ， 采 用 靖 值 函数 压制 小 于 净值 的 小 波 系数 来 达到 滤 品 的 目的 。 因 
此 ， 效 值 收缩 法 的 研究 重点 是 如 何 确定 靖 值 和 如 何 定 义 阀 值 郴 数 。 根 据 研究 的 侧重 点 不 同 ， 
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PAER (Lipschitz) 指数 刻画 信号 的 奇异 性 ， 利 用 信号 和 噪声 在 不 同 尺 度 模 值 图 上 的 表 
现 ， 利 用 模 极 大 值 原理 进行 滤 品 ， 然 后 采用 迭代 实现 交替 投影 法 由 模 极 大 值 点 重 构 小 波 系 
数 ， 这 种 方法 计算 量 较 大 。 相 关 性 滤 噪 法 是 根据 信号 与 噪声 的 小 波 变 换 系数 在 相 邻 尺度 之 间 
的 相关 性 进行 滤波 的 。 

小 波 域 滤 噪 增强 一 般 是 在 辨识 噪声 系数 和 图 像 边 缘 系 数 的 基础 上 ， 对 不 同 的 小 波 系数 采 
取 不 同 的 拉 伸 策略 ， 达 到 抑制 噪声 、 增 强 有 用 信息 的 目的 。 类 似 地 ， 考 虑 噪声 情况 的 增强 方 
法 往往 定义 一 个 非 线 性 的 增益 函数 ， 使 处 于 不 同 区 间 范 围 的 小 波 系数 得 到 不 同 程度 的 抑制 或 
拉 伸 ， 来 进行 图 像 的 抑 品 增强 。 参 考 文献 [1] 中 就 研究 了 在 一 般 小 波 变 换 情况 下 自 适 应 选 
择 映射 函数 进行 增强 和 抑 品 。 

小 波 变 换 适用 于 表示 各 向 同性 奇异 性 的 对 象 ， 但 对 于 图 像 中 具有 线 奇 异 和 曲线 奇异 等 高 
维 几 何 特征 的 边缘 、 轮 廓 、 纹 理 信 息 不 能 做 到 有 效 刻画 和 稀疏 表示 。 因 此 ， 在 图 像 处 理 领 域 
很 多 学 者 致力 于 从 构造 具有 方向 选择 性 和 各 向 异性 并 能 对 边缘 进行 稀 跑 描述 的 最 优 基 函数 的 
角度 来 解决 问题 。 这 就 是 多 尺度 几何 分 析 方 法 。 其 中 ， 针 对 图 像 滤 噪 和 增强 经 常 采用 以 
Ridgelet 变换 、Curvelet 变换 和 Contourlet 变换 为 代表 的 非 自 适应 几何 分 析 。 

上 述 方法 是 小 波 域 图 像 滤 噪 和 增强 的 主流 方法 。 这 些 方法 的 共同 特点 是 直接 对 小 波 分 解 
数据 进行 处 理 ， 即 在 考虑 噪声 的 基础 上 ， 对 不 同 特点 的 小 波 系数 进行 剪裁 和 增强 ， 然 后 通过 
小 波 重 构 改 善 图 像 效果 ， 其 算法 的 一 般 流 程 如 图 4. 1 所 示 。 
小 波 域 数 据 修 正 
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图 4.1 小 波 图 像 滤 噪 增强 算法 一 般 流 程 

基于 反对 称 双 正 交 小 波 重 构 的 图 像 增强 方法 首先 对 图 像 进行 多 尺度 小 波 分 解 。 然 后 ， 在 
小 波 重 构 中 计算 模 值 图 和 相 角 图 ， 提 取 各 尺度 边缘 图 像 。 并 且 ， 根 据 边缘 图 像 ， 来 增强 半 重 
构图 像 的 对 应 边缘 点 。 最 后 继续 逐 级 重 构 ， 实 现 图 像 增 强 。 该 方法 在 小 波 塔 式 分 解数 据 的 重 
构 过 程 中 ， 有 针对 性 地 实现 对 图 像 边 缘 的 锐 化 增强 ， 对 于 图 像 增强 、 图 像 的 滤 品 增强 或 图 像 
滤 噪 后 的 复原 问题 ， 这 种 方法 与 上 述 小 波 域 图 像 增强 方法 的 思路 不 同 ， 主 要 有 如 下 特点 : 

1) 在 小 波多 尺度 塔 式 分 解数 据 上 有 针对 性 地 实现 对 图 像 边 缘 的 增强 ， 比 通常 采用 二 进 
卷 积 小 波 实现 图 像 边 缘 处 理 与 增强 减少 了 计算 量 ; 

2) 针对 图 像 边缘 的 锐 化 增强 在 小 波 重 构 过 程 中 完成 ， 不 增加 额外 计算 量 ， 并 优 于 小 波 
域 数 据 直 接 增 强 方法 ; 

3) 对 于 滤 吕 增强 ， 先 对 小 波多 尺度 塔 式 分 解数 据 进 行 滤 品 等 处 理 ， 然 后 在 小 波 逐 级 重 
构 过 程 中 提取 图 像 边缘 信息 ， 进 一 步 滤 噪 并 增强 边缘 。 

这 一 思想 将 小 波 域 滤 噪 和 边缘 增强 在 多 尺度 塔 式 分 解数 据 的 重 构 过 程 中 有 机 地 结合 在 一 
起 ， 对 图 像 滤 噪 增强 或 图 像 滤 噪 后 的 复原 提供 了 一 种 新 的 解决 问题 的 思路 。 
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4.1.1 双 正 交 小 波 


1. 多 分 辩 率 分 析 
[定义 1] ”多 分 辩 率 分 析 是 指 满足 下 述 性 质 的 一 系列 闭 子 空间 和 Vy uz: 
1) 一 致 单调 性 

-CVCV CCV CT te 
2) 渐 近 完全 性 

QV, - 101; UV, - (OD 
3) 伸缩 规则 性 

fa) € V.ef(2/t) eVeZz 
4) 平移 不 变性 

JG) e W(t-n) eh 
5) 正 交 基 存 在 性 
存在 pe VV， 使 得 lo (t-n)} E V, 的 正 交 基 ， 即 


W- span | 9 (t-n)! Lfe - nea - ma -Ó,, (4. 1) 


其 中 ， 正 交 基 的 存在 性 条 件 可 放宽 为 Riesz 《里 斯) 基 存 在 性 ， 由 Riesz 基 可 以 构造 出 一 组 
EXI, Æ (e(t — n) 1, 2 为 空间 V, 的 正 交 基 , 则 (e, (0) = 2- *e(27t - n) |, , 必 为 空间 
V, 的 标准 正 交 基 。 所 有 闭 子 空间 1 V1 ;.z 都 是 由 同一 — R BE 数 o 伸缩 后 的 平移 系列 张 成 的 尺 
度 空 间 ， 称 pg (i) 为 多 分 汰 率 分 析 的 尺度 函 Io 9 o 
数 ， 其 包含 关系 如 图 4. 2 所 示 。 

多 分 辨 率 分 析 的 一 系列 尺度 空间 是 由 同 
一 尺度 函数 在 不 同 尺度 下 张 成 的 ， 即 一 个 多 
分 辨 率 分 析 LV.) 对 应 一 个 尺度 函数 。 虽 然 
fi U V, = L(R) ,但 由 多 尺度 空间 的 定义 可 
知 ，| 史上 ez 空间 相互 包含 而 不 具有 正 交 性 。 因 
Jt, CNE o, (0) = 275 e(27t - k) 在 不 同 
尺度 间 不 具有 正 交 性 ， 即 p(t) = 27*9(27t 图 4. 2 ” 闭 子 空间 | V1j.z 相 互 包含 关系 
- k) 不 能 作为 己 (R) 空 间 的 正 交 基 。 

[EX2] EWV, AV, Æ V, 中 的 补 空间 ， 即 


























V, 1 =V, DW,, W, LV, (4.2) 
任意 子 空间 W, 与 W, Zé4H EEZX (SAARE), W,LW,, mzn, HA 
L'(R) - BW (4.3) 
V= Vi - V (4.4) 
f(t) e mS) e W, (4. 5) 


THE por keZ} 为 空间 W, 一 组 正 交 基 ， 则 对 所 有 的 尺度 jeZ, 有 y, 2772- 
k); keZ) VARE W, WEZE, y ;的 整个 集合 必然 构成 了 世 (R) 空 间 的 一 组 正 交 基 。 巾 
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于 由 ,是 由 同一 母 函 数 伸缩 平移 得 到 的 正 交 LU LIS L9 2425425 
Ak, MB y 为 小 波 函 数 ， 相 应 地 称 W, 是 尺 
度 为 ;的 小 波 空间 。 如 图 4.3 所 示 ， 小 波 空 Pa 
间 是 两 个 相 邻 尺度 空间 的 差 ， 相 邻 尺度 空间 2 
的 投影 之 间 的 细小 差别 即 为 函数 f(x) 在 相应 Lm) 
尺度 小 波 空间 上 的 投影 ， 故 小 波 空间 也 称 为 
细节 空间 。 
2. 紧 支 集 双 正 交 小 波 
定理 : 设 p(x) 与 少 (*) 是 一 个 多 尺度 分 pM 
析 的 紧 支 集 正 交 实 尺度 函数 和 小 波 函 数 ， 且 a 
W(x ) 是 对 称 或 反对 称 的 ， 则 w(x) 一 定 是 Haar ( 哈 尔 ) 小 波 函 数 。 
由 上 述 定理 可 知 ， 除 Haar 小 波 函 数 以 外 ， 紧 支 集 、 正 交 、 对 称 的 小 波 函 数 是 不 存在 的 。 
只 有 放弃 正 交 性 要 求 ， 才 能 满足 紧 支 集 和 对 称 条 件 。 


[定义 3] 设 世 (R) 的 两 个 多 尺度 分 析 有 (Vz， eG), CV Lu, eG). 3 
(p(x —n), Q(x-k)) -20,,, n, keZ (4. 6) 


则 称 ol), Qo) 是 双 正 交 尺度 函数 。 从 上 述 定义 可 知 ， 双 正 交 尺度 函数 要 求 两 个 不 同 的 尺 
度 分 析 的 两 个 尺度 函数 之 间 有 正 交 性 。 对 同一 尺度 函数 ， 不 要 求 有 平移 正 交 性 ， 构 成 一 个 多 
尺度 分 析 的 尺度 函数 不 必 是 平移 正 交 的 。 由 多 尺度 分 析 的 定义 可 得 











V DWVDV I 
(4.7) 
y ,DOV 
函数 系 
1p =2 tp(2 ix -hk)} cz (4.8) 
是 VV W Riesz 基 ， 而 函数 系 
[2 *9(2 7x - k) | (4.9) 
JÈ V, lf] Riesz 基 。 iE W, Æ V, fE V, Pb, W, Æ V, dk V, phh, 则 有 
V =V, +W,, jeZ (4. 10) 
V asV.W,jez (4. 11) 





对 于 同一 多 尺度 分 析 ， 不 要 求 W, 55 V, EX, W, 与 方正 交 。 由 双 正 交 定 义 可 知 V, , LV, ,, 
于 是 可 得 


V,+ W, LV. W, (4. 12) 
由 此 可 得 
ViV,Wliv,WliW, wlW, (4.13) 
根据 多 尺度 分 析 ， 有 以 下 绪论 : 
plx) e Weyla- k) eW, (4.14) 


(x) e We (2x) € W, , (4.15) 
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对 V. 也 有 这 两 个 性 质 。 由 于 式 (4.14) 、 式 (4.15 ) GE, MAF (x) EW, W {y(x - 
k) zx 构成 酚 的 Riesz 基 ， 而 函数 系 为 


[s -2754(27n =k) } rez (4.16) 
这 样 ， 就 构成 W, 的 Riesz dE, Æ y(x) € W, ， 则 有 
Id, 72759 (2 7x - K) Lu; (4. 17) 


这 样 就 构成 W, 的 Riesz 基 。y(x) 、 六 (x) 称 为 双 正 交 小 波 函 数 。 双 正 交 尺度 函数 与 小 波 函 数 
有 下 列 二 尺度 方程 : 


e(x) = 2 2, hue (2x - k) (4. 18) 

p(x) = 22, ge - k) (4. 19) 

9(%) = 422, hug - E) (4. 20) 

VG) = 22, noQ - E) (4.21) 
HIERIE NEIERE h, h, 对 应 的 g,、g, 为 

2 eame h, ,,neZ (4. 22) 

g,-(-1) h ,, neZ (4.23) 


BUE. A PRAARWIER, PEDAL, E. La] PL ECRHOR RHIZ, PAUWE, X 


h,-h.,, Wig, 是 对 称 的 ; Æ h, =h, Wg, 是 反对 称 的 。 
3. 双 正 交 小 波 变换 的 Mallat 算法 
与 正 交 情形 相似 ， 在 双 正 交情 形 下 ， 也 可 用 机 数 的 多 尺度 逼近 及 其 相应 的 快速 算法 。 设 


(Vijcz eG. CIV, luu, 2(x)) 是 已 (R) 的 两 个 多 尺度 分 析 ，p(x) e (o) 满足 式 
(4.6) , (x) 、 六 (x) 是 相应 的 双 正 交 小 波 函 数 ， 则 对 任何 J 二 1， 有 
fx) 2f, (x) + x 25 d, i Q0) (4. 24) 


PO = Zenona) Sa) e V, ERE JF fCO IBI 续 逼 近 ， 由 式 (4.24) 得 


& SUD, Pi(x)), Deje, keZ (4.25) 

d - (f(x) , V, (x)? , OSjSJ, keZ (4. 26) 
REHAN c, RI d; A 即 函数 /(x) 的 多 尺度 逼近 
HFL (R) = +W +W, +W, +…， 所 以 在 式 (4.24) 中 取 1 J1 一 o ， 则 可 得 


f(x) = 2. 2, dahila) (4. 27) 
式 中 
d, 2 ((x) , V, (X), j kez (4. 28) 


式 (4.28) 称 为 Kx) 的 双 正 交 小 波 变换 公式 ， 式 (4. 27) 称 为 双 正 交 小 波 变换 重 构 公 式 。 可 见 ， 
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变换 和 重 构 是 使 用 不 同 的 小 波 函 数 进行 的 。 以 下 是 eu, d, ,的 快速 算法 : 
ej, = (f(x) ,psx)) 
= (f(x) ,2 EI RO 7x -2k -n)) 2k 4n =m 


- 2, hn (f(x) 9,4 0) 


- 2, haies (4.29) 
类 似 地 
di, = 之 E uta kez (4. 30) 
对 于 重 构 ， 有 
Can D hpt + D Enada nez (4.31) 
在 = 


3X(4.29) , 3X (4. 30) 称 为 双 正 交 小 波 变换 的 Mallat 算法 分 解 公 式 ， 式 (4.31) 称 为 双 正 交 小 
波 变 换 Mallat 算法 的 重 构 公 式 。 可 见 ， 分 解 公式 和 重 构 公 式 是 用 两 对 不 同 的 滤波 器 进行 的 。 


4.1.2 基于 反对 称 双 正 交 小 波 重 构 的 图 像 多 尺度 边缘 提取 


1. 相关 知识 

(1) 理想 小 波 函 数 性 质 

理想 的 小 波 函 数 应 具有 下 列 性 质 ， 中 线性 相位 特性 ; 包 紧 支 集 特性 ; 名 消失 和 矩 特性 ; 由 
正则 性 特征 。 其 中 ， 小 波 函 数 具 有 线性 相位 ， 即 小 波 函 数 具有 对 称 性 ， 可 以 避免 或 消除 重 构 
图 像 在 边缘 处 的 失真 ， 保 证 对 小 波 系 数 处 理 后 函数 的 精确 重 构 。 

(2) 小 波 运算 形式 

小 波 运 算 的 形式 有 两 种 : 相关 型 小 波 变 换 运 算 和 卷 积 型 小 波 变 换 运 算 。 相 关 型 小 波 变 换 
运算 通过 也 数 与 小 波 函 数 进行 内 积 运 算 来 实现 。 卷 积 型 小 波 变 换 运 算是 指 函 数 奇 异性 检测 中 
的 二 进 卷 积 型 小 波 变 换 运算 。 相 关 运 算 的 意义 是 求 被 分 解 函 数 与 小 波 函 数 的 相似 程度 ， 卷 积 
运算 的 意义 是 用 小 波 函 数 对 被 分 解 函 数 做 卷 积 平滑 滤波 。 

(3) 反对 称 双 正 交 小 波 与 图 像 边 缘 提 取 

常用 的 基于 小 波 变 换 的 多 尺度 边缘 提取 方法 ,采用 不 具备 正 交 性 的 二 进 卷 积 小 波 。 在 数 
值 计算 领域 ,更 希望 采用 某 种 正 交 性 小 波多 尺度 塔 式 分 解数 据 进行 边缘 信息 处 理 。Mallat 在 
有 关 文 献 中 指出 ， 用 于 边缘 检测 的 小 波 函 数 y 必须 是 反 ( 奇 ) 对 称 的 ; AR IE SEINI PK 
不 具有 对 称 性 ; 双 正 交 小 波 放 宽 了 正 交 条 件 ， 可 以 构造 出 具有 线性 相位 的 紧 支 集 小 波 。 因 
此 ， 反 对 称 双 正 交 小 波 具有 边缘 提取 的 能 

(4) 图 像 增强 的 小 波 基 选取 

图 像 增强 小 波 基 选 取 应 满足 平移 不 变性 的 要 求 ， 元 余 小 波 变 换 是 目前 图 像 增强 中 常用 的 
小 波 变 换 。 双 正 交 小 波 变 换 具 有 平移 不 变性 ， 并 可 利用 对 称 性 避免 边界 效应 。 

基于 上 述 知 识 ， 反 对 称 双 正 交 小 波 适 合 于 对 小 波多 尺度 塔 式 分 解数 据 进行 边缘 提取 和 图 
像 增强 。 以 下 对 反对 称 双 正 交 小 波 所 具有 的 卷 积 运算 性 质 、 微 分 算 子 功 能 和 和 针对 多 尺度 边缘 
提取 三 方面 展开 讨论 。 
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2. 反对 称 双 正 交 小 波 的 卷 积 运算 性 质 

WMR Jr (x), EGO FIL e) 、2(xz) 分 别 为 己 (R) 空 间 的 双 正 交 小 波 函 数 及 其 对 应 的 尺度 
函数 ，y(x) 是 反对 称 的 ， 则 p(x) 必 为 偶 对 称 。 设 Pla) yla), Vx) Plr), Da) 
-e(-x), Q(x) =P -x), TI D(x) FI Co) IRE SOSEBIC]NUE K RAURI EKR HE PRÉC, 
又 设 j 尺 度 反对 称 双 正 交 小 波 基 范 数 为 yy(x) 2259 (x), ZEH La, b], ， 则 中 点 为 (5 - 


a)/2， 于 是 有 
ity (5^ ea 中-= -2ty(27 (55) (4.32) 


4 xzx-(b-a)/2, FÆ 2*V( -27x)z -2*w(2-x(b -w+x))， 即 
pyl -x)= -2772 (x+b-a)) (4. 33) 
上 式 说 明 ， 对 于 反对 称 双 正 交 小 波 iu (x) EW, WI Vx) = x) EW, Bl Vo; (x) 
同样 可 构成 W, 空间 的 一 组 Riesz 其 。 类 似 地 ，qpyj (x) eV 也 有 这 种 性 质 。 根 据 两 个 多 尺度 
空间 的 双 正 交 条 件 ， 不 难 证 明 Vx) 、 密 (x) 和 B(x)、 寺 (x) 也 可 构成 两 个 相同 多 尺度 空间 
的 双 正 交 小 波 了 泡 数 和 尺度 函数 。 双 正 交 小 波 变 换 是 相关 型 小 波 运 算 ， 即 被 分 解 函 数 与 离散 小 
波 基 函数 做 相关 运算 ， 对 于 实 双 正 交 小 波 变 换 有 
Wy, f = (uuu (x) 
= [255609427 (x - h)) ds 
= flx) * pyl- x) = f(x) * W(x) (4. 34) 
因此 ， 对 函数 采用 反对 称 双 正 交 小 波 函 数 w(x) e W, 做 相关 型 小 波 变换 ， 相 当 于 采用 反对 称 
双 正 交 人 小波 函数 (x) e W, 做 卷 积 型 小 波 变换 。 对 于 反对 称 双 正 交 小 波及 其 相应 的 双 正 交 斥 
度 函 数 ， 则 小 波 函 数 和 尺度 函数 及 其 对 偶 小 波 函 数 和 尺度 函数 有 如 下 对 应 关系 : 


















































Soa f =a), Paala) ) =f(x) * Byla) (4. 35) 
Wy, f= (f(x), du G0) SKa) * Vy) (4. 36) 

J 
FE) = 2 Sus feu G) + 之 2 Wo fuu Ca) (4.37) 


综 上 所 述 ， 反 对 称 双 正 交 小 波 变换 具有 卷 积 运算 性 质 。 当 (x), P) Myla), x) 
构成 2(R) 空 间 的 两 个 多 尺度 分 析 的 双 正 交 尺度 函数 和 双 正 交 小 波 函 数 时 ，B (x) 、 什 (x) 和 
多 (x) 、 六 (x) 同样 可 构成 这 两 个 多 尺度 分 析 的 双 正 交 尺度 函数 和 双 正 交 小波 函 数 。 当 采用 
(x) 和 g(x) 做 卷 积 型 双 正 交 小 波 变换 时 ， 其 综合 小 波 函 数 和 尺度 函数 为 (x) 81x) , 


不 是 (x) 和 g(x)。 
3. 反对 称 双 正 交 小 波 变换 的 微分 算 子 功能 
(1) 反对 称 双 正 交 小 波 变 换 的 微分 算 子 功能 的 频 域 证 明 中 
令 y(x) 是 一 个 具有 反对 称 的 双 正 交 小 波 函 数 ，0(x) 是 (x) 的 积分 ， 即 


8G) = [wd 
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对 此 式 两 边 进行 傅 里 叶 变换 ， 并 利用 二 尺度 方程 的 频 域 表 达 式 ， 可 得 

Pw) G(o/2)0(w/2) 

jo ` jo 

式 中 ，GB(w) 是 和 小 波 函 数 y(x) 相 对 应 的 尺度 函数 p(x) 的 传 里 叶 变 换 ，y(x) 满 足 
Pla) 2 23 Y e) e Qu -月 





0(o) = 




















G(c) 定义 为 
Gw) = 21 5 (he 
对 于 一 个 具备 线性 相位 的 反对 称 双 正 交 小 波 而 言 ， 系 数 Ce) 必须 是 偶数 长 度 的 反对 称 
序列 。 不 失 一 般 性 地 ， 假 设 其 对 称 点 为 -0.5， 则 e Ck) ig 
g(k)--g(-1-k), k=0, 1, =, n-1 (4. 38) 
利用 式 (4. 38)，G(w) 可 以 写 为 





n-l 
G(o) 一 272 > g(k) [eit Nu e W 
k=0 
n-l 
= 2-990095 g(k) | e 909 5) pe gi? 09 5) 


n-l 
z gv ou > g(k)sin(k +0.5)0w 
k=0 


~ 2 gel S a(k) (k +0.5) (4.39) 
可 得 
6(0) =me e(o/2) (4. 40) 
stb q 2272 S 40) (0,5) 。 由 此 得 到 
iii (x) =np(2x 40. 5) (4.41) 


上 式 表明 ， 在 一 阶 近 似 条 件 下 ， 反 对 称 双 正 交 小 波 函 数 y(x) 的 积分 8 G0) 和 尺度 函数 p(2s) 
成 比例 关系 。 对 于 具有 其 他 反对 称 点 的 小 波 函 数 ， 很 容易 得 到 类 他 结果 。 

以 上 结论 对 应 用 反对 称 双 正 交 小 波 进行 图 像 边缘 检测 具有 重要 意义 。 设 /(*) 为 一 个 二 

次 方 可 积 函数 ， 则 其 7 级 分 辩 率 上 的 小 波 变换 为 

Wf = (f(x) AG) 

- KG.) TP 


利用 式 (4. 41), ， 可 得 





Wf ~ CD e) 


- Saaf 
Ox 
_ 8x) * 6,(2x)) 
Ox 
RP, Sf HSE 级 分 辨 率 上 的 近似 ( 卷 积 平滑 )。 式 (4.43) 表 明 ， 信 号 f(x) 在 j 级 


(4.43) 
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分 辩 率 上 的 小 波 变换 Wf AASE 1 级 分 辩 率 上 的 近似 ( 卷 积 平 请) 成 比例 ， 因 此 Wf 
的 局 部 极 值 就 对 应 了 Saaf 的 剧烈 变化 点 。 
对 二 维 信号 f(x，y) ， 当 采用 相关 型 小 波 变换 时 ， 则 其 7 级 分 辨 率 上 小 波 变换 为 
Wyf LH = x,y) ej GOV; ()) 
LL 90s y) * B(x) 6,(2y)) 








(4. 44) 
y 
W,f HL = Q(x,y) Ae) 
2 9 xy) ,e,(2x) e; y) 》 
Óx 
- 2 Gn) t RD) (4. 48) 





(2) BOSHEJOSUE S8 /] NICHE I9 f 5-3 E RIE? 

由 于 紧 支 撑 且 有 具有 线性 相位 的 反对 称 双 正 交 小波 的 二 尺度 系数 序列 IL g 的 长 度 必 均 
为 偶数 ， 且 两 者 相差 为 2 的 偶数 倍 ， 因 此 不 失 一 般 性 地 ， 可 令 g, 的 对 称 中 心 为 0.5， 长 度 为 
2K， 起 点 下 标 为 -K+1, 终点 下 标 为 K， 并 且 有 

g,7-g,, k20, 1l, mk 











考虑 到 
二 尺度 关系 可 重 写 为 


p(x) = > gi9(2% - k) 


= 42g ga Lou +K-1) -ø(2x+K-2)] + (gx FE) 
[ep(2x + 天 -2) - gi2s- K —-3)] ++ + (8k Ea t +g) 
[e(2x - K) - e(2x -K -1)]} 
= J218g «Le(Qx -*K-1)-o(x + 天 -2)] + (8.xa * £ x2) 
Lp(2x -xK-2) - g(Qx -K-3)] + + 
E xal ex - K € 1) - e(Qx - K)]I (4. 46) 
令 上 式 的 第 项 系数 为 c;:， 则 
人 k--K-el,-,K-1 (4. 47) 
则 c, 是 一 个 对 称 序列 ， 有 
Civ, a0 e K 
考虑 到 | g, | 的 值 随 1 kl 的 增 大 而 减 小 及 在 式 (4. 46) 的 求 和 中 有 正 与 负 抵 消 ， 式 (4.45 ) B 
各 项 中 ， 以 co 为 系数 的 中 间 项 将 起 主导 作用 。 即 y(x) 可 近似 表示 为 
px) e [e(2x) - e(2x -1)] (4. 48) 
如 果 wp(x) 足 够 光滑 ， 则 根据 中 值 定 理 ， 式 (4. 48 ) 可 进一步 表达 为 
rx) 一 cl Sex -0.5) 
即 任何 紧 文 撑 反 对 称 双 正 交 小 波 w(x*) 是 近似 地 正比 于 高 一 级 分 辩 率 上 与 之 相对 应 的 尺度 函 
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数 p(2x) 的 导数 。 
4. 反对 称 双 正 交 小 波 重 构 过 程 中 的 多 尺度 边缘 提取 


反对 称 双 正 交 小 波 变 换 具有 卷 积 运算 性 质 和 微分 算 子 功能 ， 可 以 利用 重 构 过 程 的 中 间 结 
果 ， 计 算 多 个 分 辨 率 上 近似 图 像 的 方向 梯度 的 模 值 和 相 角 值 ， 进 而 进行 边缘 提取 。 这 一 


的 实现 是 在 图 像 的 重 构 过 程 中 实现 的 。 
相 邻 7+1 和 /7 尺度 间 的 小 波 变换 系数 快速 重 构 算法 为 
Waa LHR = > b, ug, 了 站 


Wasi m n J -HLR = > gh aWy if HL 
i,l 

Wasi m fHHR = 218.8. gus f_HH 
il 

Wasi m n f LER = > ah s: LL 
i,l 


Wj,f LL = 2d We Ae 2l W,,,f LH 十 2, Enana Waiu f HL 


il 


+ D gag a Waif HH + 2,8, Wu f LL 
为 了 讨论 问题 方便 ， RA. 49) ~ IÑ (4. 53) 可 简写 如 下 ， 
Wy f_LHR = Ñ g: W, f. LH 
Wn f HLR = Ak Wyf HL 
W,,f HHR = gg, Wy f HH 
Wf LLR = hh W,f LL 
W,af LL =g Wf LH + gh W, f. HL + 
gg, Wyf HH + IW, f. LL 
重新 构造 重 构 的 式 (4. 58)， 有 
W,af LL =g Wf LH + gh W, f. HL + 
gg W,f HH + hh W, f. LL + 
gig W,f HH - gig, Wy f HH 
重新 组 合 上 述 重 构 公 式 各 项 ， 有 
Wy; f LL = (hg, W,f LH + g;g,W,; f HH) + 
(gih Wy f HL + gig W, f. HH) + 


hihi W,f LL - gg, W,f HH 


= gU, W,f LH +a Wyf HH) e gU W,f HL + g Wy f. HH) + 


hu Wy f LL - gg; Wf HH 


(4. 


功能 


.49) 
.50) 
.51) 


. 52) 


.53) 
.54) 
.55) 
.56) 


. 57) 


.58) 


.59) 


60) 


$43 图 像 预 处 理 5 83 





3k (4.60) P (EW, f. LH +g Wyf HH) XI Wy f. LH 和 Wy f HH 的 每 一 行 采用 综合 滤波 器 
i, 和 名 进行 一 维 重 构 的 结果 ， 即 
HR_W f =W, f LH + g, Wyf HH 
~ O(f(x,y) ,e,(2x) ej(2y) )/9y 
= (f(x,y) * 5,(2x) 6,(2y) )/8y (4. 61) 
xk (4. 60) P (EW, f. HL - g:W, f. HH) ÆXF Wy f. HL 和 Wy £f. HH 的 每 一 列 采用 综合 滤波 器 
h, AI g, 进行 一 维 重 构 的 结果 , 即 
HR Wif -i|W,f HL -g;W,f HH 
ini 9Cf(x,y) „p; 2x) e;(2y) )/ x 
= O(f(x,y) * $,(2x) O,(2y) )/àx (4. 62) 
HR W.ffJHR W;fFEKEX-HMI, 43)5 j 1 分 辨 率 上 近似 分 量 水 平方 向 和 垂直 方向 的 一 
阶 导数 成 比例 。 在 半 重 构 的 基础 上 ， 按 照 式 (4.60) 步骤 继续 重 构 形 成 J+1 级 分 辩 率 近似 
分 量 。 图 4.4、 图 4. 5 所 示 为 这 一 重 构 过 程 的 电路 结构 示意 图 和 过 程 示意 图 。 





Mya f Gy) 


Aj (xy) 


J 
















Waj f HH | 12 | 














"ipa -© 
vaci -O- wn 


图 4.4 针对 图 像 边 缘 提 取 的 二 维 小 波 重 构 电 路 结构 示意 图 

重 构 过 程 多 了 两 个 级 分 量 的 重 构 。 由 于 进行 了 上 采样 ，HR_ 孔 广 和 HR_ 瑟 六 的 大 小 与 
Wya f LLdJé—3$X89, Hg NUEDOEÉXHM]HR Wif HR_ 了 下 太 可 以 计算 出 7+1 级 分 辨 率 上 近似 
分 量 的 模 值 和 相 角 值 。 由 于 HR. Wf 和 HR_ 天 /是 由 j 级 分 辨 率 上 的 数据 分 别 经 过 行 重 构 和 
列 重 构 并 由 上 采样 得 到 ， 因 此 在 列 方向 和 行 方向 上 要 比 j+1 数据 低 一 个 分 辩 率 级 ， 计 算出 
的 模 值 也 低 一 个 分 辩 率 级 。 在 小 波 分 解数 据 上 重复 上 述 过 程 ， 能 够 计算 出 各 级 分 辨 率 上 的 模 
值 和 相 角 值 并 最 终 重 构图 像 。 根 据 式 (4.25) 和 式 (4. 26)， 二 维 信 号 f(x, y) 在 j+1 级 
分 辩 率 上 近似 分 量 Wya Cf (x, y)) LL 的 梯度 矢量 可 以 表示 为 
































Of(%,y) ,.o(2x)e Qy)) 
Óx HR Wf 
VW, f LL = - | (4.63) 
aCf(x.y) ,.o(2x)ey)) HR. Wf 





oy 





WUfLL HR WÁ f = 
Wf R(LL)- aUe neo) 


Wya fRLHLHH ) 

eim f x & g«( n, ij fLH* 

Rr Rem f LL A uenon |E] err EE 
W,;f HL ax BETON 




















?f= M, f= 
Wi R(HLHB)- HR JJ - b 
A i ILEN) Wr HHR [ER n! reco re 
gi Oi Wolf LH+ ay Z! Ze W, j£HH d 
gii f HH) QU Go 2002») 2 
ay 





arc tan PRW f 力 
Wy f 


WjafLL- 

W.j AF R(LH,HH)+ 
WjAf R(HLHH)- 
W,PfR(LL)- 

W, jifR(HH) 








图 4.5 针对 图 像 边缘 提取 的 二 维 小 波 重 构 过 程 示 意图 
这 样 ， 可 以 直接 基于 反对 称 双 正 交 小 波 的 分 解数 据 计算 j+1 级 分 辨 率 上 的 近似 图 像 的 方向 
梯度 的 模 值 Ms f (x, y) MAAE AS (x, y)» 











Myaf = JA HR Wfl? «| HR_W,fl?,j=-1,-2,.…,-J (4. 64) 
Aysf = arg tan EEA) j a, 2ye, = (4.65) 
HR. W, f. 


基于 上 述 关 系 通 过 局 部 模 极 大 值 检测 便 可 定位 7+1 级 分 辩 率 上 的 边缘 像素 点 。 在 各 级 小 波 
分 解数 据 上 重复 上 述 过 程 ， 可 得 各 个 分 辨 率 上 近似 图 像 的 方向 梯度 模 值 和 相 角 值 。 这 种 重 构 
算法 ,将 各 分 辨 率 上 的 边缘 检测 融入 重 构 过 程 中 ， 对 图 像 增强 有 重要 意义 。 


4.1.3 ”基于 反对 称 双 正 交 小 波 变换 的 图 像 锐 化 增强 


上 述 内 容 详细 地 讨论 了 反对 称 双 正 交 小 波 变 换 所 具有 的 卷 积 运算 性 质 、 微 分 算 子 功能 
针对 图 像 边 缘 提 取 的 重 构 方法 。 根 据 以 上 结论 ， 在 反对 称 双 正 交 小 波多 尺度 重 构 过 程 中 ， 可 
以 进行 图 像 的 锐 化 增强 ， 其 实现 方法 的 流程 如 下 : 

步骤 1. 图 像 的 塔 式 小 波 分 解 

采用 反对 称 双 正 交 小 波 ， 对 图 像 进行 了 级 小 波 分 解 ， 其 中 J 为 选 定 的 分 解 级 数 ， 可 得 到 
各 级 小 波 分 解 低频 分 量 和 三 个 高 频 分 量 。 

步 又 2. 重 构 过 程 中 的 图 像 增强 

从 最 粗 分 辨 率 级 (jo -J) 的 小 波 分 解数 据 开始 ， 采 用 本 书 4.1.2 58 4 中 提出 的 小 波 重 
构 方法 进行 逐 级 重 构 。 
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(1) 半 重 构 计 算 模 值 和 相 角 值 
在 每 一 级 的 重 构 (以 7 尺度 小 波 分 解数 据 重 构 为 例 ) 中 ， 首 先进 行 重 构 过 程 中 的 半 重 
构 ， 利 用 半 重 构 结 果 ， 得 到 各 分 辨 率 上 的 梯度 矢量 HRW HR Wf, 按照 式 (4.64) 
和 式 (4.65) 计算 各 级 分 辨 率 上 的 模 值 Mf (x, y) 和 相 角 值 4 (x, y)o 
(2) 模 极 大 值 检测 和 阔 值 处 理 
对 (1) 得 到 的 模 值 ， 沿 相 角 方向 求 局 部 模 极 大 值 点 ， 得 到 所 有 的 边缘 像素 点 集合 。 
于 噪声 和 精细 纹理 的 存在 ， 存 在 很 多 洪 在 的 非 边缘 点 ， 而 这 些 点 的 模 值 普遍 较 小 ， 因 此 采用 
闪 值 法 清除 模 值 小 于 一 定 阔 值 的 点 ， 减 小 非 边缘 像素 点 对 后 续 步 又 的 影响 。 对 经 过 阔 值 处 理 
的 各 分 辩 率 级 的 模 值 ， 链 接 图 中 模 值 相近 、 相 角 相 似 的 非 零 边缘 像素 点 ， 剔 除 链 长 小 于 万 
(7 为 分 解 级 数 ) 的 短 链 。 
(3) 半 重 构 边缘 点 增强 
根据 (2) 检测 到 的 边缘 点 ， 得 到 二 值 化 边缘 图 像 模板 ， 增 强 与 此 模板 边缘 点 位 置 对 应 
的 HR. WLA HR. Wf EWE MRR A, BI 
T(HR. Wf(x,y)) = k; x HR Wf(x,y) (4. 66) 
T(HR Wjf(x,y)) = k; x HR. W;f(x,y) (4. 67) 
AF, (x, y) 为 HR. Waf fll HR. 及 太 上 的 边缘 像素 点 。 拉 伸 因 子 方 在 每 一 固定 尺度 下 为 常 
数 ， 且 满足 











1 
max | Myf(x,y) | 
可 以 选取 一 组 不 同 的 来 增强 图 像 中 对 应 尺度 的 特征 ， 因 为 噪声 的 梯度 模 在 大 尺度 下 变 得 
较 小 。7 大 里 BAK, Mb IINE k 为 1， 这 样 既 达 到 了 增强 图 像 的 目的 ， 又 可 有 效 地 抑制 品 
声 。 由 于 采用 了 小 波 域 噪声 抑制 方法 ， 各 斥 度 下 可 以 取 相 同 的 值 。 对 J 级 分 辨 率 上 的 近 
似 图 像 作 线性 拉 伸 ， 扩 大 它 的 动态 范围 到 显示 设备 的 动态 范围 。 

(4) 继续 重 构 

对 经 过 (3) 增强 后 的 半 重 构 HR. Wif n HR. Wf, 按照 本 节 4.1.2 节 4. 中 的 小 波 重 构 
方法 继续 重 构 ， 于 是 可 得 到 上 一 尺度 重 构 分 量 Wya R (LH, HH) AM Wya R (HL, HH), 
这 两 个 重 构 分 量 与 直接 重 构 分 量 Wya RCHH) M Wya R(CLL) 合 成 为 增强 的 上 一 级 7+1 R 
度 的 小 波 分 解 低 频 分 量 。 

步骤 3. 逐 级 小 波 重 构 

从 最 粗 分 辩 率 级 小 波 分 解 开始 ， 按 照 本 书 4.1. 2 步骤 3 中 提出 的 重 构 算 法 ， 逐 级 实施 步 
又 2 中 的 (1) ~ (4)， 直 至 增强 图 像 。 上 述 步骤 1 ~3 的 增强 过 程 ， 特 别 是 步骤 2 中 的 
(1) ~ (4) 过 程 ， 如 图 4.6 所 示 。 


4.1.4 图 像 滤 噪 增强 


对 于 反对 称 双 正 交 小 波 变 换 ， 在 小 波 重 构 过 程 中 提取 图 像 的 边缘 信息 ， 为 图 像 增强 提供 
了 一 种 有 效 的 途径 。 其 创新 之 处 在 于 将 图 像 增 强 融 于 小 波多 尺度 塔 式 分 解数 据 的 重 构 过 程 之 
中 ， 为 图 像 的 滤 噪 增强 提供 了 一 种 轿 新 的 思路 。 下 面 对 此 进行 实验 研究 ， 假 设 噪声 为 高 斯 品 
声 ， 采 用 韩国 学 者 Li Kyu Eom 提出 的 基于 混合 高 斯 模型 的 小 波 域 图 像 滤 噪 方法 “对 图 像 小 
波 分 解 各 分 量 滤 噪 ， 然 后 进行 重 构 增 强 恢 复 。 





(4. 68) 
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图 4.6 反对 称 双 正 交 小 波 重 构 增 强 示意 图 

4.1.4.1 基于 混合 高 斯 模型 的 小 波 域 图 像 滤 噪 方法 

1. 图 像 建 模 

将 染 噪 图 像 描 述 为 如 下 形式 : 

yGJ) = xGJ) *e(,), ij-1,-P (4. 69) 

AF, oy [i, 7]. 为 采集 的 实际 图 像 ，x [i,j] 为 未 知 的 原始 图 像 ; e li, 站 是 具有 零 均 值 和 确 
定 方差 ov 的 高 斯 白 噪声 ， 滤 噪 的 目的 是 通过 技术 方法 从 染 噪 图 像 y》 [i, 7]. 中 恢复 x [sj]. 

基于 小 波 变 换 的 图 像 滤 噪 方法 首先 要 采用 双 通 道 滤波 器 ， 对 图 像 y [i, j] 进行 多 尺度 


小 小 变换 ， 设 


HENDRER 


















































pesi. ij = 1, ,P/X 
表示 一 定 尺度 下 不 同方 向 的 小 波 系数 。os (HL, LH, HH, LL} E X^". [i, j] HEC 
[i, j] 分 别 代表 原始 图 像 x [i, 站 和 噪声 图 像 es [让 的 小 波 系数 。 
由 分 解 的 小 波 系数 可 以 看 出 ， 每 一 尺度 细节 分 量 的 小 波 系数 A [i, j] 是 独立 的 高 
斯 变量 ， 对 小 波 系数 作 如 下 最 小 均 方 误差 (Minimum Mean Square Error, MMSE) 估计 : 
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e. Lj] SG.) (4. 70) 


X|i] = 一 一 一 一 一 一 
bala api] aod 


这 里 假设 o [i, j] 是 确定 的 和 已 知 的 ， 但 实际 上 o; [i, 让 是 未 知 的 。 因 此 ， 需 要 对 o 
[i, j] 进行 估计 , Wo [i, j] 的 估计 量 是 o? [i, jlo XPINEIRIUX [i, j] 的 估计 取 


WeFo) [uj] 的 准确 程度 。 

2. 小 波 分 解 系数 的 二 值 化 

将 小 波 系数 分 为 显著 小 波 系数 和 不 显著 小 波 系数 两 类 ， 首 先 采 用 自 适 应 阔 值 形成 小 波 系 
Jk X [i, j] 的 二 值 编码 m [i, j], HEBRE 
























































TL) = TET (4.71) 
二 值 化 的 小 波 系数 二 值 编码 如 下 : 
mli j] = f ih ad (4.72) 
显著 小 波 系数 代表 图 像 中 的 边缘 和 纹理 ， 不 显著 小 波 系数 代表 图 像 中 的 平坦 区 域 。 图 4.7 所 
示 为 多 尺度 分 解 的 二 值 化 后 的 小 波 系 数 。 nr o 


3. 混合 高 斯 模型 

设 高 频 小 波 系数 是 线性 相关 的 高 斯 随机 变量 ， 二 值 
化 后 的 小 波 系数 编码 m [i, j] =1 的 小 波 系数 服从 零 均 
值 、 高 方差 的 高 斯 分 布 ， 即 

FOX] 1 mli j] =1) = g(X[i,j] :0, o1 1331) 

(4.73) 

XP, o? [i, j] 为 显著 小 波 系数 的 方差 ; m (0) 为 
高 斯 密度 函数 。 同 理 ， 二 值 化 后 的 小 波 系数 编码 m [ i, 
j] =0 的 小 波 系数 服从 零 均 值 、 低 方差 的 高 斯 分 布 ， 即 

FXLi j] | mli j] 90) eg CX] 10,05 41) 
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图 4.7 二 值 化 后 的 小 波 系数 





(4.74) 
由 于 o? [4j] >o? [i, j], 小波 系 数 的 概率 密度 函数 (XX li, j]1). 由 条 件 高 斯 分 布 得 到 
KX[iJj]) = pog(X[i,j] :0, oli jl) + pig(X[i,i] :0, ot ij]? (4.75) 











AP po [ij] Mp [ij] 分 别 是 显著 和 非 显 著 小 波 系数 的 概率 ,并 且 p, [i,j] =1 -po li, jlo 
4. 参数 估计 
上 述 高 斯 混合 模型 的 参数 为 (p, [i, j], es G, D. o1 (i, 力 |。 显 著 小 波 系数 概率 
的 计算 采用 小 波 系数 了 [i, j] 邻 域 的 平均 值 计算 ， 即 
nl = A (4.76) 
x ue, GÆ Xi, ] SUI NICA E s e G) Æ c G) PIERA ORE S JRR 
差 的 估计 是 根据 其 邻 域 窗口 的 小 波 系 数 得 到 的 。 根 据 高 斯 密度 函数 的 最 大 似 然 估 计 , 得 到 


Y (,1) - 2,0) (4. 77) 
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iij) = max( Y! (k,l) - 0,0) (4.78) 


1 
| e (i,j) | yap eati 
RP, co (i,j) 是 邻 域 小 波 系数 集合 ，1 c，(i, 站 | 是 c。(i, D 中 的 小 波 系 数 的 数量 。 
根据 前 述 小 波 变化 的 特点 ， 小 波 系 数 按 四 又 树 结构 传播 ， 如 果 上 一 级 小 波 系数 较 小 ， 则 下 一 
尺度 相似 位 置 的 小 波 系数 也 较 小 。 根 据 这 一 特点 ， 得 到 最 后 的 局 部 方差 估计 为 











REND = ac, ij] * (1 - a) UD (4. 79) 
gi, (ij) = aili j] + (1-a) A (4. 80) 
RP, o 是 加 权 因 子 。 最 后 采用 小 波 系数 邻 域内 的 维 纳 滤波 估计 小 波 系数 为 
H(ij) -nG S A * py) 4 (4. 81) 
0i, t0, Dip * GO, 


4.1.4.2. 基于 反对 称 双 正 交 小 波 重 构 的 图 像 滤 噪 增强 恢复 

对 图 像 进行 多 级 小 波 分 解 后 ， 针 对 不 同性 质 噪声 ， 采 用 新 的 或 比较 成 熟 的 滤 噪 方法 对 塔 
式 小 波 域 数 据 作 滤 品 处理 ， 然 后 在 重 构 中 对 图 像 进行 增强 。 其 算法 流程 如 图 4. 8 所 示 。 这 种 
村 点 尤其 适合 于 小 波 域 滤 噪 后 的 图 像 恢复 增强 。 任 何 小 波 噪 声 滤 除 方法 在 抑制 噪声 的 同时 ， 
都 不 可 避免 地 会 造成 图 像 中 有 用 信息 的 损失 ， 特 别 是 高 频 信息 。 应 用 基于 反对 称 双 正 交 小 波 
的 图 像 增强 方法 ， 可 以 在 小 波 域 进 行 图 像 滤 噪 后 ， 通 过 本 书 4.1.3 中 设计 的 小 波 重 构 算法 ， 
有 目的 地 对 图 像 边缘 信息 进行 增强 恢复 ， 并 进一步 滤 除 噪声 、 复 原 并 突出 图 像 中 的 重要 信 
息 。 这 种 图 像 增强 思想 通过 反对 称 双 正 交 小 波 重 构 将 小 波 域 滤 品 方法 和 类 似 于 二 进 小 波 的 边 
缘 检 测 方法 巧妙 地 融合 在 一 起 ， 而 这 一 切 是 在 图 像 滤 品 后 的 重 构 过 程 中 完成 的 ， 不 会 增加 额 














外 计算 量 。 这 是 基于 反对 称 双 正 交 小 波 重 构 的 增强 算法 重要 的 应 用 价值 之 一 。 


半 重 构图 像 提取 边缘 模 极 大 
1E E ECTS RR MEL, f 
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图 4.8 ”图像 滤 噪 增强 算法 流程 
4.1.5 实验 结果 与 分 析 


1. 样本 选择 及 实验 设计 

(1) 实验 样本 选择 

为 了 全 面 验证 基于 反对 称 双 正 交 小 波 重 构 的 图 像 增强 方法 的 性 能 ， 从 对 图 像 边 缘 的 增强 
能 力 、 对 比 度 的 增强 效果 ， 以 及 在 视线 追踪 系统 应 用 的 效果 等 儿 个 方面 考虑 ， 选 择 了 若干 组 
有 代表 性 的 图 像 作为 实验 样本 。 

第 一 组 选择 医学 和 生物 特征 、 军 事 和 视频 监控 、 人 脸 和 人 有 眼 等 三 类 有 代表 性 的 图 像 作为 
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实验 样本 ， 见 表 4. 1。 
表 4.1 实验 样本 

























































































图 像 名 称 图 像 尺寸 /像素 图 像 特点 样本 选择 的 目的 
心脏 造影 图 像 EN 
512 x 512 JERRI, 4 类 不 同 强度 血管 

( 见 图 4 9a) 的 验证 算法 对 图 像 边 缘 的 增强 

指纹 图 像 256 x 256 布 满 不 同 陡 度 的 各 类 边缘 ， 且 方 向 多 样 ，| 效果 

( 见 图 4. 10a) 具有 断裂 、 分 又 等 边缘 特征 

256 x256 目标 淹没 于 背景 和 烟雾 ， 灰 度 分 布 集中 

验证 算法 对 图 像 对 比 度 增 

辅助 驾驶 系统 算法 对 图 像 对 比 度 增强 
前 方 道路 图 像 256 x256 雨雾 等 恶劣 天 气 采集 的 视频 图 像 

(ILKI 4. 12a) 

人 脸 人 眼 图 像 256 x 256 视线 追踪 系统 图 像 采集 过 程 中 ， 头 部 超出 验证 算法 在 实际 应 用 系统 中 
( 见 图 4. 15a, c) 景深 范围 至 成 像 模糊 的 效果 














人 脸 和 人 有 眼 图 像 是 视线 追踪 系统 中 用 于 面部 位 姿 估 计 和 平面 视线 参数 检测 的 图 像 。 视 线 
追踪 需 融 合 人 脸 特 征 提 取 、 有 眼 部 特征 识别 等 多 种 生物 特征 识别 技术 ， 关 键 技术 包括 瞳孔 和 普 
尔 钦 斑 分 割 及 中 心 定 位 、 瞳 孔 跟 踪 、 人 脸 多 特征 检测 和 跟踪 等 。 在 图 像 采 集 过 程 中 ， 由 于 头 
部 活动 超出 景深 范围 ， 从 而 造成 成 像 模糊 。 

第 二 组 选择 272 像素 x 280 像素 的 电路 板 图 (JILE 4. 13a) 为 实验 样本 ， 用 于 验证 基于 
反对 称 双 正 交 小 波 算法 的 滤 品 增强 效果 。 电 路 板 图 经 过 裁剪 ， 其 尺寸 变 为 256 像素 x256 像 




















b) 重 构 过 程 增强 c) 二 进 小 波 增 强 





d) ME u e) Curvelet 变换 域 数据 直接 增强 f) Contourlet 变换 域 数据 直接 增强 


图 4.9 心脏 造影 图 像 增强 结果 
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素 。 电 路 板 图 整体 灰 度 偏 蜡 ， 上 面 分 布 走 线 且 品 声明 显 。 图 中 加 入 标准 方差 o = 20 的 高 斯 

















噪声 ( 见 图 4. 13b), 


第 三 组 选择 270 像素 x 238 像素 的 骨髓 组 织 切片 图 ( 见 图 4. 14a) 作为 实验 样本 ， 用 于 


直观 表达 增强 效果 。 图 中 布 满 白 色 的 脂肪 细胞 和 网 状 的 骨髓 组 织 ， 边 缘 丰 富 且 模 糊 。 经 延 拓 
和 裁 前 ， 尺 寸 变 为 256 像素 x256 像素 。 


(2) 实验 设计 
1) 应 用 二 进 卷 积 型 小 波 ， 采 用 与 双 正 交 小 波 方法 类 似 的 思路 做 图 像 增强 。 用 于 对 比 验 


证 不 同 的 边缘 检测 小 波 在 重 构 中 进行 图 像 增强 的 效果 。 


2) 应 用 反对 称 双 正 交 小 波 ， 通 过 拉 伸 小 波 数据 中 的 边缘 系数 进行 图 像 增强 。 

3) 应 用 Curvelet 变换 和 Contourlet 变换 ， 通 过 直接 拉 伸 变换 域 数 据 进行 图 像 增强 。 

上 述 2)、3) 用 于 对 比 验 证 小 波 重 构 增 强 与 小 波 变 换 域 直接 增强 的 效果 。 

2. 实验 过 程 

(1) 图 像 增 强 过 程 采 用 反对 称 双 正 交 小 波 Bior3.5 对 图 像 进行 多 级 分 解 ， 按 照 4.1.3 节 


中 叙述 的 过 程 对 图 像 进行 增强 。 根 据 不 同 图 像 特点 ， 小 波 分 解 的 级 数 和 增强 参数 不 同 。 图 
4.9 ~ 图 4.11 所 示 的 小 波 分 解 为 5 级 ,图 4.12 ~ 图 4. 15 所 示 的 小 波 分 解 为 3 级。 图 4.9、 图 








4.10、 图 4.12 ~ 图 4.15 所 示 的 增强 系数 启 =2。 图 4. 11 所 示 的 增强 系数 有 =2. 5, 









c) 二 进 小 波 增 强 





am P 
viro a 


d) uc cu e) Curvelet 变换 域 数据 直接 增强 。 f) Contourlet 变换 域 数 据 直 接 增强 





4.10 指纹 图 像 增 强 结果 
(2) 采用 二 进 卷 积 型 小 波 Spline 3.3, 应 用 本 文思 路 对 图 像 进行 增强 。 
(3) 采用 Bior3. 5 小 波 ， 通 过 半 重 构 获 取 边 缘 模板 ， 定 位 小 波 域 数据 的 边缘 点 位 置 ， 增 
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a) 原 图 b) 重 构 过 程 增 强 c) 二 进 小 波 增强 





uro rs e) Curvelet 变换 域 数据 直接 增强 。。 £) Contourlet 变换 域 数 据 直 接 增强 


图 4.11 坦克 图 增强 结果 
强 相 应 的 边缘 点 小 波 系数 ， 然 后 小 波 重 构 增 强 图 像 。 

(4) 采用 Curvelet 变换 和 Contourlet 变换 ， 对 变换 域 数 据 直 接 进 行 线性 增强 ， 然 后 进行 
逆 变 换 而 获取 增强 图 像 。 

上 述 (2) 、(3) 、(4) 中 小 波 分 解 级 数 与 增强 参数 与 对 应 的 双 正 交 小 波 方法 相同 。 

3. 实验 结果 及 增强 效果 评价 

(1) 视觉 效果 比较 

第 一 组 实验 样本 的 增强 结果 如 图 4.9b、 图 4. 10b、 图 4. 11b 和 图 4. 12b 所 示 ， 它 们 分 别 
比 图 4. 9a 所 示 的 各 种 血管 明显 变 得 突出 ， 比 图 4. 10a 所 示 的 指纹 得 到 锐 化 ， 边 缘 的 断裂 、 
分 又 等 特征 都 保持 了 原 有 的 形态 ， 即 医学 和 生物 特征 图 像 的 边缘 特征 得 到 有 效 的 锐 化 增强 ， 
比 图 4. 11a 和 图 4. 12a 所 示 的 坦克 和 和 车辆 目标 更 加 清晰 ， 即 军事 和 视频 监控 图 像 的 对 比 度 得 
到 了 有 效 增强 。 它 们 采用 二 进 小 波 增强 、 反 对 称 双 正 交 小 波 域 边缘 数据 直接 增强 、Curvelet 
变换 和 Contourlet 变换 域 数据 直接 增强 的 结果 分 别 如 图 4.9 ~ 图 4.12 中 的 图 e、d、e、f 所 
示 。 双 正 交 小 波 增强 方法 的 视觉 效果 略 弱 于 二 进 小 波 增 强 方法 ， 优 于 反对 称 双 正 交 小 波 域 边 
缘 数据 直接 增强 方法 ， 远 优 于 Curvelet 变换 和 Contourlet 变换 域 数据 直接 增强 方法 。 

人 脸 实 验 样本 增强 结果 如 图 4. 15b, d 所 示 ， 增 强 前 后 图 像 对 比 度 得 到 了 很 大 的 改善 。 
图 4. 15b 所 示 的 眼角 、 嘴 角 、 上 鼻尖 等 面部 位 姿 估 计 所 需 的 人 脸 特征 都 较 原 图 清晰 ， 为 后 续 的 
特征 提取 打下 了 基础 。 图 4. 15d 所 示 的 视线 参数 特征 普尔 钦 斑 〈 位 于 角膜 上 的 亮点 ) 较 原 
图 强化 十 分 明显 ， 灰 度 值 明显 高 于 眼 部 其 他 区 域 。 普 尔 钦 斑 的 分 割 和 中 心 定 位 与 视线 方向 精 
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c) 二 进 小 波 增 强 





a) 原 图 






一 一 "^ 
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d) a um e) Curvelet 变换 域 数 据 直接 增强 f) Contourlet 变换 域 数据 直接 增强 


图 4. 12 ”车辆 图 像 增强 结果 
度 密切 相关 。 视 线 检测 所 需 的 其 他 眼 部 特征 如 有 瞳孔、 巩膜 与 虹膜 分 界线 等 都 得 到 有 效 的 增 
强 。 双 正 交 小 波 算法 将 在 平面 视线 参数 检测 中 发 挥 重 要 作用 。 

第 二 组 实验 样本 的 滤 噪 和 增强 结果 如 图 4. 13c、f 所 示 ， 可 见 图 像 滤 噪 后 对 比 度 下 降 ， 
图 像 中 残留 噪声 。 在 重 构 中 增强 后 ， 与 滤 噪 后 图 像 和 原 图 相 比 ， 图 像 质量 得 到 很 大 改善 ， 噪 
声 得 到 了 进一步 抑制 。 图 4. 13d 所 示 为 原 图 直接 增强 结果 ， 可 见 滤 品 增强 结果 与 原 图 直接 增 
强 效果 基本 一 致 。 图 4. 13e 所 示 为 对 滤 噪 后 的 小 波 域 数 据 直 接 增 强 结果 ， 可 见 增强 效果 明显 
弱 于 图 4. 13f 所 示 图 像 。 

(2) 增强 效果 评价 

为 了 评价 图 像 的 增强 效果 ， 选 择 图 像 的 均值 、 方 差 、 局 部 粹 、 局 部 对 比 度 为 评价 参数 。 
方差 是 图 像 灰 度 值 分 散 程 度 的 度量 。 人 是 图 像 灰 度 值 一 致 程度 的 度量 。 局 部 炉 为 图 像 各 点 像 
素 邻 域 灰 度 值 恼 ， 图 像 恼 为 各 像素 局 部 炉 的 平均 值 。 局 部 对 比 度 定 义 为 图 像 局 部 3 x3 窗口 
增强 值 (max-min) /max + min 的 平均 值 。 由 表 4.2 ~ 表 4.5 评价 参数 可 见 : 

1) 图 像 增强 后 灰 度 值 和 等 级 更 加 分 散 ， 对 比 度 得 到 了 增强 。 

2) 二 进 小 波 增 强 方法 与 双 正 交 小 波 增强 方法 的 效果 基本 一 致 。 但 双 正 交 小 波 增强 方法 
是 在 小 波多 尺度 塔 式 分 解数 据 上 进行 的 ， 其 算法 运算 量 远 少 于 二 进 小 波 增 强 方法 。 

3) 双 正 交 小 波 增强 方法 优 于 对 双 正 交 小 波 变换 域 边 缘 数据 直接 增强 方法 的 增强 效果 ， 
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a) 原 图 b) 加 噪 图 (c=20) 





d) 原 图 直接 增强 图 域 边缘 数据 直接 增强 图 





图 4.13 电路 板 图 像 滤 噪 增强 结果 
说 明 在 逐 级 重 构 中 ， 增 强 边缘 信息 具有 更 确切 的 增强 作用 。 

4) 双 正 交 小 波 增强 方法 远 优 于 Curvelet 变换 和 Contourlet 变换 域 数 据 直接 增强 方法 。 说 
明 即 使 Curvelet 变换 和 Contourlet 变换 能 够 更 稀 琉 地 表达 网 像 边缘 人 信息， 直接 对 变换 域 数据 
增强 仍 不 能 取得 满意 效果 。 

由 表 4.6 可 知 ， 双 正 交 小 波 增 强 方法 对 滤 噪 后 的 增强 结果 与 原 图 直接 增强 结果 基本 一 
致 ， 并 优 于 滤 噪 后 对 边缘 数据 直接 增强 的 效果 。 这 充分 说 明 双 正 交 小 波 算法 在 图 像 滤 噪 增强 
或 滤 噪 后 图 像 复 原 中 的 显著 效果 。 

图 4. 14 所 示 为 骨髓 组 织 切片 图 增强 前 后 的 三 维 图 和 直方 图 比较 ， 可 见 增强 后 图 像 中 白 
色 脂 肪 细胞 的 灰 度 值 和 边缘 得 到 增强 锐 化 ， 灰 度 分 布 范围 增 大 ， 对 比 度 增强 。 

4. 实验 结论 

1) 基于 反对 称 双 正 交 小 波 重 构 的 增强 方法 ， 对 图 像 边 缘 增 强 更 有 针对 性 。 

2) 在 重 构 中 增强 ， 其 过 程 更 接近 于 最 后 的 增强 结果 ， 增 强 效果 优 于 对 小 波 域 数 据 的 直 
接 增强 。 

3) 双 正 交 小 波 方法 操作 方便 ， 适 用 于 图 像 的 滤 噪 增强 或 滤 噪 后 图 像 的 恢复 。 

4) 双 正 交 小 波 方法 中 的 小 波 分 解 级 数 和 增强 参数 可 根据 不 同 应 用 背景 图 像 选 择 ， 以 达 
到 最 佳 增 强 效果 。 实 验 中 ， 曾 对 更 多 样本 图 像 采 用 相同 的 增强 参数 进行 处 理 ， 仍 取得 满意 效 
果 ， 说 明 双 正 交 小 波 方法 的 可 操作 性 。 更 多 样本 图 像 实验 结果 如 图 4. 16 所 示 。 
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表 4.2 心脏 造影 图 像 增强 评价 参数 
评价 参数 
JS fü 标准 方差 Fe ii 局 部 对 比 度 
增强 方法 SNO 
原 图 99. 5256 75. 3532 6. 6688 0. 1858 
重 构 过 程 增 强 103. 2342 78. 1885 7. 2327 0. 5144 
二 进 小 波 增强 104. 0200 82. 2201 6. 6959 0. 3537 
BERENE 101. 4680 76. 6373 7. 2774 0. 3985 
边缘 数据 直接 增强 ` ` ` Í 
Carele een 124. 1288 89. 5952 5.9644 0. 1807 
数据 直接 增强 
Contourlet 变换 域 
x N 123. 2661 89. 4617 5.9186 0. 1819 
数据 直接 增强 








b) 原 图 三 维 图 


图 4.14 上 骨髓 组 




































































c) 原 图 直方 图 
织 切片 图 增强 前 后 的 三 维 图 与 直方 
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e) 增 强 后 三 维 图 f) 增强 后 直方 图 
图 4.14 (È) 
表 4.3 指纹 图 像 增 强 评价 参数 
e 评价 参数 均值 标准 方差 ETT 局 部 对 比 度 
原 图 168. 8961 54. 1310 6. 8320 0. 2872 
重 构 过 程 增强 178. 2382 67. 5581 6. 9132 0. 4393 
二 进 小 波 增强 181. 6279 75. 5358 6. 5956 0. 3435 
双 正 交 小 波 变换 域 边缘 数据 直接 增强 172. 6953 66. 3886 7. 1733 0. 4286 
Curvelet 变换 域 数 据 直接 增强 196. 7715 60. 2406 6. 7685 0. 2793 
Contourlet 变换 域 数 据 直 接 增强 195. 6818 60. 0856 6.7515 0. 2793 
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a) 原 图 








c) 原 图 d) 重 构 过 程 增强 


图 4.15 视线 追踪 系统 人 脸 和 人 腿 图 像 增 强 结果 
表 4.4 坦克 图 增强 评价 参数 
































Adm ges 均值 标准 方差 patei 局 部 对 比 度 
原 图 183. 1811 25. 9492 6. 6447 0. 1362 
重 构 过 程 增强 181. 4150 42. 8194 7. 2689 0. 3351 
二 进 小 波 增强 189. 7606 41. 3775 7. 0504 0. 3300 
双 正 交 小 波 变 换 域 边缘 数据 直接 增强 182. 1005 33. 2633 7. 0615 0. 2835 
Curvelet 变换 域 数 据 直 接 增 强 210. 3695 29. 3640 6. 4866 0. 2487 
Contourlet 变换 域 数 据 直 接 增强 209. 2525 29. 4531 6.4746 0. 2491 
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表 4.5 车 辆 图 像 增强 评价 参数 
评价 参数 t 
i 均值 标准 方差 SIE 局 部 对 比 度 
增强 方法 
原 图 156. 6366 15. 3516 5. 8456 0. 0587 
重 构 过 程 增强 154. 1352 36. 4143 6. 9979 0. 3382 
二 进 小 波 增强 155. 7010 19. 8338 6. 2562 0. 1256 
双 正 交 小 波 变换 域 边缘 数据 直接 增强 155. 6366 18. 5496 6.1729 0. 0952 
Curvelet 变换 域 数 据 直接 增强 187. 9574 18. 4221 5. 8456 0. 1382 
Contourlet 变换 域 数 据 直 接 增强 194. 4083 19. 1913 5. 8456 0. 0591 














c) 








图 4.16 其 他 样本 图 
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图 4. 16 


( 续 ) 
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图 4.16 (5) 

表 4.6 电路 板 图 像 滤 噪 增强 评价 参数 
nes 人 均值 标准 方差 ka edi 对 比 度 
原 图 74. 3361 46. 4198 6. 9279 0. 5431 
加 噪 图 74. 7401 49. 7112 7. 3986 0. 8855 
滤 燥 后 图 73. 8183 45. 5532 7. 2659 0. 6405 
原 图 直接 增强 图 76. 3915 68. 0339 7. 0489 0. 8654 
滤 噪 后 双 正 交 小 波 变换 域 边缘 数据 直接 增强 图 73. 6573 53. 4641 7. 3905 0. 8441 
滤 噪 增强 图 77. 0222 68. 4760 7. 0326 0. 8965 














4.2. 基于 边缘 检测 和 双边 滤波 的 彩色 图 像 滤 噪 方法 


彩色 图 像 滤 噪 在 数学 上 可 归纳 为 两 种 模型 : 一 种 是 分 别 在 彩色 图 像 各 个 通道 上 进行 滤 
噪 ， 称 为 逐 通 道 模 型 ， 例 如 小 波 彩色 图 像 滤 噪 方法 等 ; 另 一 种 是 将 各 个 通道 数据 作为 一 个 矢 
量 整 体 进行 滤 噪 ， 称 为 矢量 模型 ， 例 如 矢量 中 值 滤波 、 矢 量 方向 滤波 、 数 字 自 适应 滤波 、 双 
边 滤 波 等 。 第 一 种 模型 割裂 了 彩色 图 像 各 个 通道 的 联系 ， 势 必 会 对 图 像 本 身 信息 结构 造成 影 
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响 。 最 常见 问题 就 是 滤 噪 过 程 独立 改变 各 个 通道 的 像素 值 ， 会 造成 滤 噪 后 图 像 产生 伪 彩 色 。 

双边 滤波 作为 一 种 可 以 整体 处 理 彩 色 图 像 的 滤波 器 ， 首 先 由 C. Tomasi 提出 ， 之 后 又 产 
生 了 一 些 变型 ， 例 如 Sigma 滤波 、 邻 域 滤波 、SUSAN 滤波 。 彩 色 图 像 双边 滤 噪 的 特点 是 既 可 
以 达到 滤波 的 效果 ， 又 可 以 保护 图 像 中 的 高 频 细节 ， 但 其 仍然 存在 以 下 问题 : 

1) 双边 滤波 过 程 仍然 是 像素 在 空间 上 加 权 平 均 的 过 程 ， 滤 噪 图 像 在 信 噪 比 增强 的 同 
时 ， 边 缘 仍 然 不 可 避免 地 产生 一 定 的 模糊 ; 

2) 双边 滤波 由 于 保护 高 频 信息 ， 对 于 图 像 中 的 高 频 噪声 ， 不 容易 干净 地 渡 掉 。 

本 节 所 阐述 的 基于 边缘 检测 和 双边 滤波 的 彩色 图 像 滤 品 方法 ， 主 要 针对 彩色 图 像 双 边 滤 
波 滤 噪 方法 的 上 述 不 足 ， 重 点 解决 了 以 下 几 个 问题 : 

1) 边缘 定位 的 准确 性 ， 很 多 边缘 检测 算法 对 边缘 的 定位 不 准确 ， 无 法 通过 得 到 的 边缘 
图 确定 边缘 及 噪声 的 准确 位 置 ; 

2) 边缘 图 中 包含 噪声 引起 的 伪 边 缘 ， 而 图 像 增 强 仅 需要 增强 人 有 眼 敏感 的 边缘 区 域 ， 对 
其 他 区 域 做 增强 会 造成 图 像 失 真 。 所 以 边缘 图 需要 通过 边缘 滤波 去 除 噪声 引起 的 伪 边 缘 后 才 
能 用 于 图 像 增 强 ; 

3) 由 传感器 或 电路 引起 的 噪声 产生 于 RGB 彩色 空间 。 直 接 在 RGB 彩色 空间 进行 边缘 
检测 ， 可 以 避免 彩色 空间 转换 带 来 的 噪声 放大 和 噪声 类 型 复杂 化 。 但 是 在 RGB 彩色 空间 进 
行 图 像 滤 噪 会 产生 伪 色 彩 ; 

4) 如 果 图 像 增 强 在 彩色 图 像 三 个 通道 上 分 别 独立 进行 ， 在 边缘 附近 将 产生 颜色 的 混 
乱 。 

基于 边缘 检测 和 双边 滤波 的 彩色 图 像 滤 噪 方法 的 滤 噪 流程 包括 边缘 检测 、 边 缘 滤波 、 改 
进 的 双边 滤波 和 彩色 图 像 增 强 ， 这 种 方法 的 主要 工作 如 下 : 

1) 为 了 更 好 地 对 彩色 图 像 边缘 准确 定位 ， 提 出 了 一 种 适合 彩色 图 像 滤 品 的 彩色 图 像 边 
缘 检测 算法 。 继 承 了 CNN 灰 度 边缘 检测 算法 定位 准确 的 优点 ,填补 了 CNN 现 有 算法 不 能 
接 处 理 彩 色 图 像 的 空白 ; 


2) 提出 了 一 种 针对 图 像 增强 的 边 


缘 滤 波 算法 。 通 过 两 级 边缘 检测 满足 滤 
RGB | CNN 方法 边缘 检测 











噪 不 同 阶段 对 边缘 检测 的 不 同 要 求 ; 
3) 通过 改进 双边 滤波 ， 减 少 滤 品 










过 程 带 来 的 边缘 模糊 ; map A 
4) 使 用 不 同 的 彩色 空间 ， 在 RGB "nm 

EA PX > X. Am s, 2: 今 测 Y cM RM É [le 

彩色 空间 进行 边缘 检测 以 定位 边缘 及 噪 a obras M 












Pi, 在 CIELAB 彩色 空间 滤 噪 以 保持 颜 
色 的 一 致 性 ， 仅 对 亮度 分 量 (L^) 进 
行 增强 以 避免 颜色 的 混乱 与 失真 。 

方法 的 整个 流程 如 图 4. 17 所 示 。 

边缘 检测 结果 记 为 map A, map A 
包含 图 像 中 的 各 种 边缘 也 包含 由 噪声 引 
起 的 伪 边 缘 ，map A 用 于 图 像 滤 噪 。map A 经 过 边缘 滤波 后 得 到 map B， 边 缘 滤波 的 目的 是 
去 除 由 噪声 引起 的 伪 边缘 ， 使 map B. 可 以 用 来 增强 图 像 而 不 会 带 来 彩色 图 像 失 真 。 


基于 边缘 的 彩色 图 像 增强 
输出 彩色 图 像 


图 4.17 彩色 图 像 滤 品 流程 


第 4 章 图 像 预 处 理 . 71- 




















在 得 到 边缘 图 map A 后 ， 通 过 边缘 信息 对 双边 滤波 作出 改进 ， 在 提高 滤 品 效果 的 同时 
减少 了 滤波 对 图 像 清 晰 度 的 影响 。 为 了 不 在 双边 滤波 过 程 中 带 来 颜色 混乱 和 图 像 失 真 ， 双 边 
滤波 在 CIELAB 彩色 空间 内 进行 。 最 后 对 彩色 图 像 做 基于 map B 边缘 的 增强 ， 增 强 在 
CIELAB 彩色 空间 内 进行 ， 仅 增强 边缘 区 域 对 应 位 置 的 亮度 分 量 。 


4.2.1 细胞 神经 网 络 (CNN) 


4.2.1.1 CNN 的 理论 

CNN 的 基本 运作 单元 称 为 “细胞 ”(Cel) ， 也 
就 是 通常 所 说 的 神经 元 。 用 电路 实现 的 时 候 ，“ 细 
胞 ”包含 线性 和 非 线 性 电路 器 件 。CNN 定义 其 网 络 
中 的 任 一 细胞 仅 与 其 邻 域内 的 细胞 相连 。 这 些 相 连 
的 细胞 通过 权重 直接 相互 作用 ， 非 直接 相连 的 细胞 
则 通过 网 络 的 动力 学 传输 效应 间接 相互 作用 。 当 前 
应 用 的 绝 大 多 数 细胞 神经 网 络 为 单 层 二 维 网 络 结 
构 ， 在 应 对 高 复杂 性 的 任务 时 也 可 采用 多 层 网 络 结 
构 。 一 个 M xNN 的 细胞 神经 网 络 是 安排 在 MM 行 N 列 
的 二 维 空间 中 的 ,第 i 行 第 j 列 用 C, ,表示 ， 如 图 图 4.18 标准 的 CNN 结构 
4.18 所 示 。 每 个 细胞 以 各 自 为 中 心 ， 与 一 个 半径 为 
r 的 邻 域内 的 其 他 细胞 通过 一 个 耦合 定律 相连 ， 耦 合 关 系 由 模板 决定 。 需 要 说 明 的 是 ， 细 胞 
虽然 是 空间 离散 的 ， 但 与 之 相关 的 各 个 变量 却 是 时 间 连 续 的 ， 即 是 模拟 量 。 

1. CNN 的 相关 概念 "" 

(1) 细胞 

一 般 地 ， 每 个 细胞 都 有 以 下 4 个 变量 : 

1) 输入 (input) 变量 

2) BJE (threshold) 

3) 状态 (state) 变量 X, 

4) 输出 (output) 变量 一 一 y, ; 

以 上 4 个 变量 (BU[EDB AE IUE) 在 一 般 情 况 下 为 连续 时 间 c 8 PC, ATREA to 
的 状态 变量 xs (0), BUE, ,)(t。)， 输 入 值 u (i)， 每 个 细胞 的 状态 变量 依照 以 下 “状态 变 
量 方程 ”变化 : 














ij 





Zi 








x fuum) is1,2,, Mjel2,,N (4. 82) 
式 中 , f, Hx (4.82) 确定 。 
(2) 邻 域 (影响 球 ) 
AERE E, k, LH r20, 1<k<m, 1&l&n, C, 为 中 心细 胞 。 若 N, 为 网 络 中 满足 下 
式 的 所 有 细胞 的 集合 ， 则 称 IN, 为 中 心细 胞 C; ,的 + 阶 邻 域 (影响 球 ) A 
N,Ci,J) 2 te; ,Imax( Ik - il, IL -jl) <r} (4. 83) 
式 中 ，r 为 半径 ，N Gu 门 就 是 (2r +1) x(27r+1) 的 邻 域 。 网 络 中 每 个 神经 元 与 周 于 ru FLA 
的 神经 元 相连 。 例 如 ，r = 1 表示 一 个 神经 元 除了 与 本 身 相连 外 ， 还 与 周围 8 个 其 他 神经 元 
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相连 ; > =2 表示 与 周围 24 个 神经 元 相 接 ; r =n 则 与 (2n +1) -1 个 其 他 神经 元 相连 。 一 个 
二 维 细胞 神经 网 络 (r =1,r =2,r=3) 如 图 4.19 所 示 。 通 常 , + =1(r =2;r =3) 的 邻 域 又 称 为 
3 x3(5 x5;7 x7) 的 邻 域 。 





Can gmunu gessses 
口 口 口 口 口 口 口 

[ii 20000 21000000 
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图 4.19 (2r«1) x (2r 1) 4553 CNN 
(3) 局 部 耦合 性 
在 细胞 C, ,的 7 阶 邻 域 之 内 的 其 他 8 个 细胞 ,Ci,yj,(1k1<1,1ll<1) 的 输入 量 wj， 
CIEL 1, UE 1) 的 集合 B(w,) 对 C; 施加 影响 ， 有 
B(u;; J= = 2 bi uia iu (4. 84) 


k,leS; 
(ks 


由 于 ws 是 外 部 信号 ， 所 以 称 b, 为 控制 输 突 。 在 细胞 C, ;的 7 阶 邻 域 之 内 的 其 他 8 个 
细胞 C, CHEESE T) BE HH E ys CIEL, HIE R1) SEG Au, ) E C, ;施加 影 
wW, 4 


un 


ACy;;) = > Ak IYitk jal (4. 85) 
k, leS; j 
DA) 


HF y, BINE C，, 自 身 产 生 的 变量 ， 所 以 称 a 为 反馈 轴 突 。 当 然 ， 以 上 两 个 线性 耦合 
规则 也 可 由 非 线性 函数 替代 。 

(4) 常规 细胞 、 边 界 细 胞 和 虚拟 细胞 

对 于 m、n、r 给 定 的 一 个 细胞 神经 网 络 ， 如 果 某 一 细胞 的 > 阶 邻 域 中 不 包含 边界 像素 
点 ， 则 称 其 为 常规 细胞 ， 否 则 称 为 边界 细胞 ( Boundary Cells) 。 任 何 细胞 C, i, 满足 


Ik-il&r,ll - jj &r, hg¢ 11,2, ,m] 或 1¢ 11,2,…,n| (4. 86) 


称 为 虚拟 细胞 ( Virtual Cells), 相应 的 x, zij 称 为 虚拟 状态 ， 虚拟 输出 ， 虚 拟 输 入 
和 虚拟 阔 值 。 

(5) 边界 条 件 和 初 值 

细胞 神经 网 络 的 运算 形式 为 邻 域 运算 ， 因 此 边界 细胞 的 处 理 不 同 于 常规 细胞 。 不 同 之 处 
在 于 ， 边 界 细胞 的 邻 域 存在 空位 ， 运 算 时 需要 将 这 些 空位 填充 。 填 充 方 式 称 为 边界 条 件 ， 边 

条 件 是 细胞 图 像 算 子 不 可 缺少 的 一 部 分 ， 通常 有 以 下 三 类 边界 条 件 : 

1) 定 值 ( Fixed) 边 界 条 件 

左 虚拟 细胞 ; y, ,=a, wo =b; i=1, 27, M 

右 虚拟 细胞 ; Yini 205, Une m, i=1, 2:5, M 





Yijs Uijs 
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上 虚拟 细胞 : y, =a, uo; =b, j=1, 20, N 
下 虚拟 细胞 : Yusij 704, Um+ij =B j=1, 3 
HF, o, IB; 是 给 定 的 常数 (通常 给 定 为 0)。 


2) 无 流 (Zero-Flux) 边界 条 件 


左 虚 拟 细胞 : Yio T Yir» uio mu, P1, 2-7 
右 虚 拟 细胞 : Yüv«1 Yi» Ui nsi T Uio i=1, 2:- 


上 虚拟 细胞 : yy ^ij» Uoj 7 ij, J=1, 2, 


下 虚拟 细胞 : Yusij YM Unsi 7 Unj» J=1, 2e, N 


3) 周期 (Periodic) 边 界 条 件 


左 虚 拟 细胞 - Y 二 iiN， u; 


右 虚 拟 细胞 : Vini EY Una mua, i=l, 2e, M 
上 虚拟 细胞 : y, m yu, uo; Tuy; J51, 2:0, N 

下 虚拟 细胞 : Yusij yy， = Ze, N 
另外， 还 必须 给 每 一 个 细胞 定义 初 值 x,,(0) 。 

总 之 ， 细 胞 神经 网 络 由 两 个 数学 要 素 所 组 成 : 











0=unw, i=l, 2e 


1) 由 被 称 为 细胞 的 连续 非 线性 动力 系统 的 空间 离散 集合 而 成 ， 其 中 每 个 细胞 通过 输入 
变量 ， 初 始 态 和 净值 来 加 载 信息 ; 


2) 每 个 细胞 以 各 自 为 中 心 ， 与 一 个 半径 为 > 的 影响 球 范围 内 的 各 个 细胞 通过 一 个 耦 


定律 相连 。 
2. CNN 的 数学 模型 





ZA 
H 


给 定 二 维 m xn 细胞 神经 网 络 ， 称 位 于 网 络 中 第 i 行 第 j 列 的 细胞 为 C; ;。 标 准 CNN 的 


状态 方程 为 
Wey = Wy + > 


Citk,j+tle SG) 


= S Mig + A(y;,) 
标准 CNN 的 输出 方程 为 


1 . 
CR [x +1] + lx;; —11) i21,2,, 


Ak Yisk 十 > 


Cisk j+leS, (i,j) 


' d T r r 
=- Xj t > > Ak Visk + 2. 2. b, uia iua + Zi 
k= -rl=-r k=-rl= -r 


+ B(u;,) tZ. 


上 述 方程 称 为 标准 非 线性 方程 ， 如 图 4.20 


所 示 。 其 中 ， ijs ij, U 


ij? 


zj 为 标量 ， 分 别称 


HRE, dh. A, MA. e e 称 为 影响 
球 半径 。 其 中 参数 oo， 以 ,对 应 于 CNN 功能 实 
现 电路 中 相应 的 4 模板 和 B 模板 ( 见 表 4.7, 表 


4.8)。 这 是 CNN 研究 及 其 特 和 





F 表 现 的 核心 。 适 


当地 选择 CNN 参数 ， 可 以 产生 奇妙 的 图 像 处 理 





功能 。 











图 4. 20 标准 非 线 性 





(4. 87) 


(4. 88) 
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表 4.7 rxr CNN BB A 模板 




















a a 1 G L0 a-ri a 
8 -1,-1 a 1,0 8-141 
Uo, -1 9.0 Q9. | 
91, -1 a,,0 981, 

a a 1 Cr,0 a 1 a 





























b b 1 b o b sa b 
boa bo baa 
bo. -1 bo o bo, 











ls s los ls a m " 




















4.2.1.2. CNN 在 图 像 处理 领 域 的 应 用 

1. CNN 的 图 像 处 理 原理 与 步骤 

CNN 在 简化 网 络 结构 的 同时 ， 依 然 保留 了 神经 网 络 完全 并 行 运 算 的 优点 。CNN 处 理 图 
像 的 过 程 是 整个 网 络 所 有 细胞 同时 演化 并 趋向 稳定 的 过 程 ， 是 一 个 动态 的 并 行 处 理 的 过 程 。 
作为 一 种 面向 集成 电路 实现 的 神经 网 络 ，CNN 将 并 行 计算 和 并 行 结构 集 于 一 身 ， 并 且 具 有 
与 人 眼 视 网 膜 相 似 的 结构 ， 因 此 用 CNN 来 探索 视觉 计算 和 实时 图 像 处 理 及 解决 当前 图 像 处 
理 领域 存在 的 问题 有 着 重要 意义 。 利 用 CNN 还 可 以 完成 边缘 探测 、 轮 廊 线 探测 、 连 通 性 探 
测 、 对 角 线 探测 、 腐 蚀 与 膨胀 、 投 影 等 任务 。 

近 些 年 来 ，CNN 研究 取得 了 很 大 发 展 ， 并 在 图 像 处 理 和 模式 识别 等 方面 取得 了 较 好 结 
果 。 目 前 ，CNN 已 经 广泛 应 用 于 图 像 处 理 水 平 线 检 测 、 垂 直线 检测 、 噪 声 移 去 、 边 缘 提 取 、 
空洞 填充 、 运 动 检 测 、 特 征 检测 和 字符 识别 等 诸多 领域 。 利 用 CNN 进行 图 像 处 理 的 应 用 研 
究 已 经 很 成 熟 。 

(1) 基于 CNN 的 图 像 处 理 原 理 

1988 年 Chua 和 Yang 首次 提出 CNN 时 就 将 其 应 用 于 图 像 处 理 '" ， 并 成 为 CNN 的 典型 
应 用 领域 。 下 面 以 灰 度 图 像 为 例 ， 说 明 CNN 进行 图 像 处 理 的 原理 :1 。 


U= (u,;) e R'" (HP lu, <1), 表示 输入 的 初始 图 像 ; 设 7 一 -7 ( oo ) ) wxw € 


R 人 ， 表 示 输 出 的 最 后 处 理 图 像 。 则 所 谓 的 数字 图 像 处 理 过 程 就 是 这 样 的 一 个 映射 : 
F :LU 一 了 (4. 89 ) 
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CNN 图 像 处 理 的 基本 功能 就 是 将 一 个 输入 图 像 映 射 成 一 个 相应 的 输出 图 像 ， 如 图 4. 21 
所 示 。 

从 数学 上 说 ，CNN 方程 式 (4. 87) 中 的 u ,表示 输入 初始 图 像 0 中 第 (i, j) 个 像素 的 灰 度 
值 ; 给 定 一 个 初始 条 件 X(0) = (x; www 后 ，CNN 方程 的 平衡 点 y; (oo ) 对 应 于 该 CNN 方程 
处 理 图 像 U 的 结 

对 标准 的 CNN 方程 而 言 ， 选 择 恰当 的 A、B 模板 ， 把 初始 图 像 作为 CNN 的 输入 量 ， 选 
择 合适 的 状态 方程 的 初始 条 件 和 边界 条 件 ， 则 可 把 CNN 的 稳定 输出 Y ) = (yij(% D usw 
作为 最 终 的 图 像 处 理 结 

















到 4.21 CNN 图 像 处 理 原理 区 

(2) CNN 图 像 处 理 的 一 般 步骤 

在 处 理 图 像 过 程 中 ， 一 个 CNN 细胞 对 应 一 个 数字 图 像 处 理 的 像素 点 ， 其 中 每 一 个 细胞 
是 一 个 复杂 的 动力 系统 。CNN 处 理 图 像 的 通常 步骤 如 下 : 

1) 选择 恰当 的 CNN 模型 ， 如 标准 CNN, AE CNN、 模 糊 CNN 等 ， 将 数字 图 像 的 每 一 
个 像素 看 成 局 部 耦合 的 CNN 细胞 ; 

2) 通过 分 析 数 字 图 像 处 理 所 要 达到 的 目标 建立 适当 的 局 部 规则 ; 

3) 通过 建立 起 来 的 局 部 规则 ， 使 用 一 定 的 方法 构造 CNN 处 理 数 字 图 像 的 模板 ，; 

4) 用 计算 机 模拟 观察 构造 的 模板 产生 的 图 像 处 理 效果 ， 看 构造 的 模板 是 否 能 满足 要 





























5) 对 处 理 的 图 像 效 果 尽 可 能 地 给 出 理论 上 的 证 明 ; 

6) 比较 该 CNN. 模板 处 理 该 图 像 与 其 他 方法 处 理 图 像 的 优 缺 点 。 

2. CNN 在 图 像 边 缘 检 测 中 的 应 用 

CNN 是 一 种 只 有 最 邻近 的 神经 细胞 元 才 进 行 通信 连接 的 神经 网 络 ， 这 种 神经 网 络 模型 
能 够 对 二 维 图 像 进行 有 效 处 理 。 近 年 来 , CNN 技术 由 于 其 可 并 行 计 算 性 和 便于 硬件 实现 等 优 
势 ， 获 得 了 长 足 的 发 展 。 

CNN 在 黑白 与 彩色 图 像 处 理 中 的 应 用 已 经 实现 ， 并 且 仿 真 结果 表明 用 CNN 处 理 图 像 的 
E E 002520000 UR CNN 做 彩色 
背景 置换 等 其 他 的 彩色 图 像 处理 也 已 经 应 用 。 而 CNN 在 彩色 图 像 边 缘 检 测 中 的 应 用 研究 现 
在 还 是 空白 ， 而 现实 中 的 图 像 很 多 是 彩色 的 ， 因 此 ， 很 有 必要 提出 一 种 新 的 CNN 模板 ， 实 
现 彩色 图 像 边缘 检测 的 功能 。 为 了 扩展 其 应 用 领域 ， 需 要 对 CNN 在 彩色 图 像 边缘 检测 中 的 
应 用 进行 研究 。 
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4.2.2 基于 CNN 的 彩色 图 像 分 块 自 适应 边缘 检测 


现 有 的 彩色 图 像 边缘 检测 方法 中 ， 有 相当 一 部 分 是 灰 度 图 像 边缘 检测 的 推广 。 即 首先 基 
于 某 一 彩色 分 量 的 图 像 进行 灰 度 图 像 边缘 检测 ， 然 后 再 将 每 一 独立 分 量 的 边缘 图 联合 形成 彩 
色 图 像 的 边缘 。 这 些 方法 忽略 了 人 眼 对 颜色 的 视觉 感知 ， 没 有 考虑 各 颜色 分 量 之 间 的 联系 ， 
往往 得 不 到 好 的 边缘 检测 效果 。 而 基于 彩色 空间 的 边缘 检测 方法 可 以 充分 利用 彩色 图 像 中 携 
带 的 彩色 信息 。 为 了 充分 考虑 人 了 眼 对 不 同 颜 色 感 知 程 度 的 不 同 ， 同 时 克服 彩色 空间 角 矢 量 中 
离 计 算 复 杂 的 缺点 ， 基 于 彩色 空间 的 边缘 检测 方法 使 用 彩色 空间 欧 几 里 得 距离 作为 彩色 像素 
之 间 差 异 的 度量 。 

很 多 的 边缘 检测 算法 都 工作 在 YebCr 彩色 空间 的 了 分 量 上 或 者 CIELAB KESHA L” 
分 量 上 。 但 是 在 基于 CNN 的 彩色 图 像 分 块 自 适应 边缘 检测 方法 中 ， 边 缘 检 测算 法 工作 在 
RGB 彩色 空间 。 虽 然 彩 色 图 像 的 理论 指出 人 眼 对 亮度 分 量 的 变化 比 色 度 分 量 更 敏感 ， 但 是 
由 传 感 器 或 电路 引起 的 噪声 产生 于 RGB 彩色 空间 ， 直 接 在 RGB 彩色 空间 进行 边缘 检测 ， 可 
以 避免 彩色 空间 转换 带 来 的 噪声 放大 和 噪声 类 型 复杂 化 。 使 用 RGB 彩色 空间 进行 边缘 检测 
的 另 一 个 原因 是 ， 图 像 中 存在 一 些 位 于 颜色 不 同 但 亮度 相似 的 区 域 之 间 的 边缘 ， 仅 用 亮度 分 
量 无 法 检测 到 这 些 边缘 。 

使 用 哪 种 边缘 检测 方法 必须 根据 问题 的 需要 来 进行 选择 ， 彩 色 图 像 滤 品 方法 对 边缘 检测 
结果 主要 有 以 下 几 点 要 求 : 

1) 能 够 检测 到 图 像 中 的 细小 边缘 ; 

2) 边缘 定位 准确 ， 无 像素 偏 移 ; 

3) 对 噪声 无 抑制 作用 ; 

4) 要 求 边缘 非 二 值 ， 为 下 一 步 的 边缘 滤波 提供 条 件 ; 

5) 可 以 在 彩色 空间 内 对 各 分 量 进 行 整体 处 理 ， 充 分 利用 图 像 中 携带 的 彩色 信息 ; 

6) 能 够 根据 图 像 中 各 个 区 域 的 性 质 自 适 应 地 选择 合适 的 参数 进行 边缘 检测 ; 

7) 不 要 求 单 像素 边缘 ， 不 要 求 连续 封闭 边缘 ; 

8) 考虑 实时 系统 应 用 ， 边 缘 检 测 方法 应 可 并 行 计 算 和 便于 硬件 实现 。 

基于 细胞 神经 网 络 (CNN ) 的 彩色 图 像 边缘 检测 算法 的 设计 是 以 满足 上 述 要 求 为 目的 的 ， 
其 最 突出 的 优点 是 能 高 速 并 行 计算 ， 且 处 理 速度 与 图 像 大 小 无 关 ， 并 便于 便 件 实现 。 这 使 得 
其 在 图 像 实时 处 理 方面 具有 广泛 的 应 用 前 景 。CNN 方法 首先 对 CNN 模板 进行 了 理论 分 析 和 
鲁 棒 性 研究 ， 提 出 了 一 个 实现 彩色 图 像 边缘 检测 功能 要 求 的 CNN 和 鲁 棒 性 定理 ， 这 为 设计 相 
应 的 CNN 模板 参数 提供 了 解析 判 据 。 这 种 方法 继承 了 CNN 的 优点 ， 填 补 了 CNN 现 有 算法 
不 能 直接 处 理 彩 色 图 像 的 空白 。 实 验 结果 表明 ， 该 算法 可 以 对 不 同 特性 的 彩色 图 像 进 行 有 效 
的 边缘 提取 。 以 下 详细 介绍 算法 流程 。 
4.2.2.1 CNN 的 鲁 棒 性 设计 



































1. CNN 模板 设计 
定义 CNN 模板 如 下 : 
000 baa bao ba 
人 a 1 B=| bo 0 bo, Z-z (4. 90) 
000 loud bi 
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这 里 a >1, b, ,为 非 线性 函数 六 (Au), WIE CNN 的 数学 描述 和 彩色 空间 欧 几 里 得 距离 ， 可 
得 
Au = [Cu;; E stria) Cs 7 Usus) Ia (4.91) 
Ui j T Uiskj+l — [Cuin 7Wjem) sts = Ui eic) , (Ui — WirkjtiB) |: (4. 92) 
c MIAul >g 
b, = -1 其 他 (4. 93 ) 


2. CNN 全 局 功能 

1) 给 定 初始 状态 矩阵 为 (0) = (,,(0) ) u HC x, (0) 20; 

2) 选择 边界 条 件 为 循环 边界 条 件 ; 

3) 最 终 输 出 的 边缘 图 像 矩 阵 为 Y92Y(o ) = (yij( oo ) ) orxwj 

4) 用 CNN 检测 彩色 图 像 边缘 就 是 将 输入 的 彩色 图 像 矩 阵 U 映射 成 输出 的 边缘 图 像 矩 
EY, HF : 5 一 了 Y， 通 过 分 析 图 像 中 边缘 点 的 特点 建立 适当 的 局 部 规则 ， 进 而 构造 CNN 模 
板 参数 的 取 值 。 

3. CNN 局 部 规则 

局 部 规则 1: 34 u, ; 相 邻 8 个 像素 点 中 至 少 有 3 个 像素 满足 | Aul >g 时 ， 任 意 像素 的 
输出 为 黑色 (黑色 对 应 +1), Wy; (0) 为 +1， 像素 点 (i, 7 为 边缘 点 。 

局 部 规则 2: 当心 HAE S 个 像素 点 中 至 多 有 2 个 像素 满足 | Aul >g 时 ， 任 意 像 素 的 
输出 为 日 色 ( 白 色 对 应 -1)， 则 , yj,(% ) 为 -1， 像素 点 (i, 7 为 非 边缘 点 。 

4. CNN 数学 分 析 

实际 应 用 中 , 取 >=1 ,根据 标准 CNN 状态 方程 式 (4.87) 得 到 CNN 的 状态 -输出 方 
程 ， 即 





1 1 l 1 
a c 2 2. a Yisk ja 十 > > b, uia iua 十 和 二 gu) + Wi (4. 94) 
kz-liz-l kz-iz-1 
Wig 


glxi j) 





gx) = 一 Xi ty; (4. 95) 


1 1 
Ww, =z+ 之 bai wins) (4. 96) 
根据 标准 CNN 输出 方程 得 
1 当 x >l 
yi 7*5 当 -1<x;;<1 (4.97) 
-1 当 x;;«-1 
将 公式 (4. 97) 代 入 公式 (4. 95) 可 得 


-X,;*à w X; 1 
g(x)-1-53 tax; 2M -1z€x,,xl (4. 98) 


-xja 当 xX;,,«-1 


将 公式 (4. 98) 代 入 公式 x% TE (x; ;) FW; js 可 得 


-X,QjTGtW, M Xij >1 
x ,= (a—1)x,; t w;; 2 -1zx,,xl (4. 99) 


MA 
-X,;-Q tW, x szel 
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根据 公式 (4.99) ， 当 过 ( -1,0) 点 时 wv =a-1， 画 出 动力 学 曲线 ， 如 图 4. 22 所 示 的 虚 
线 4d 。 当 过 (1,0) 点 时 wj;=1 -a， 夯 出 动力 学 曲线 ， 如 图 4.22 所 示 的 虚线 d,。 这 两 条 动力 
学 曲线 属于 临界 状态 。 根 据 w ;的 不 同 取 值 范围 ， 可 以 得 到 三 类 动力 学 曲线 : 
(1) w;;»a-1lHf 
动力 学 曲线 在 d, 上 方 的 区 域 ， 即 在 区 域 I 中 。 画 出 其 中 的 一 条 动力 学 曲线 ， 如 图 4.22 
所 示 的 曲线 c, ， 它 与 x; , 轴 有 一 个 交点 为 Qi。 
(2) 1 -a<w,,<a-!1 时 
动力 学 曲线 在 d, Md, 之 间 的 区 域 ， 即 在 区 域 五 中 。 夯 出 其 中 的 一 条 动力 学 曲线 ， 如 图 
4. 22 所 示 的 曲线 co, ES x, MAZZERI Q, Q, Qio 
(3) w,;<1 -a 时 
动力 学 曲线 在 d, 下 方 的 区 域 ， 即 在 区 域 3 
I rp, mF- 2&2 772 HZ, An : 
3 
2 














4.22 所 示 ， 曲 线 c, Ej x ;,, 轴 有 一 个 交点 05。 
对 图 4. 22 所 示 动 力学 曲线 方向 的 说 明 : 


CD 当 动 力学 曲线 在 x METE x,; >0, 动 
力学 曲线 向 x, , 增 大 的 方向 移动 直到 *,; =0 -i 


时 停止 ，@ 当 动 力学 曲线 在 x 轴 下 方 时 x*,， T 
«0, 动力 学 曲线 向 x;, 减 小 的 方向 移动 直到 — CT 


4L 
x, 70 时 停止 。 

从 图 4.22 可 以 看 出 : 

(1) 动力 学 曲线 。 到 4.22 ”动力 学 曲线 图 

3$4,,(0) es ( — o ,o ) 时 ， 沿 着 图 中 箭头 所 示 的 方向 移动 ， 最 终 收 敛 点 为 Q 点 。 由 于 
w,;»a-1Bl Q, 点 的 x;;>1， 根据 标准 CNN 输出 方程 可 得 y,， (o) =1。 

(2) 动力 学 曲线 c, 


它 与 x; j 轴 有 3 个 交点 Q, , Q; , Q10 ES ds =0 时 (a =1) Xij 十 20i -0 可 得 到 在 x, , ER 
交点 0; 的 横 坐 标 为 -w; /a -1， 需 要 考虑 3 种 情况 : 


1) "x, (0) = -wa-1 时 该 点 为 收敛 点 ， 即 0, 点 ， 因 为 *,, =0， 则 该 点 不 再 移 
动 ， 根 据 标准 CNN 输出 方程 可 得 y (0 ) = -wj/a -1; 

2) Hx (0) > -w/a -1 IIIA Fd rpg S TZ EET I] EP, RAAF Q. 点 ， 该 点 
的 x, ;三 1， 根 据 标准 CNN 输出 方程 可 得 y, ( % ) 215 

3) Ux, (0) < -wj/a -1 时, 沿 着 图 中 箭头 所 示 的 方向 移动 ， 最 终 收 敛 于 Q, 点， 
VASE x, m -1， 根 据 标准 CNN 输出 方程 可 得 y, (0 ) = -1。 

(3) 动力 学 曲线 c 

当 x;,(0) € (=-o,o) 时 ， 沿 着 图 中 箭头 所 示 的 方向 移动 ， 最 终 收 敛 点 为 0; 点 ， 由 于 
w;;<l -a 则 Q. 点 的 € 一， 根据 标准 CNN 输出 方程 可 得 yo) = 一 1。 

由 上 述 分 析 可 以 得 到 
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1 x wij>a-1,%(0)e(-%,%) 
wW.. 
1 x 1 -a<w,,<a-1,x,(0) > 一 一 学 
a-1 
y; (œ) LU Gu Wij M 1] -aswmw;,a -1l,x; (0) = Lii (4. 100) 
J a-1 Hj UJ a-l 
wW.. 
-1 M 1 -aw,;,sa-1,2,,(0) < -— 
> i a-l 
-1 当 ^ w,«1-a,x;(0) &e( -o,o) 


d p, 为 满足 | Aul sg 条 件 要 求 的 相 邻 像素 的 个 数 ， 设 pm 为 满足 1 Aul >g 条件 要 求 
的 相 邻 像素 的 个 数 。 由 式 (4.95) 和 式 (4.96) 可 得 
w;;-z-p,tcepa-7z-(8-p4) +p =z-8 +(1 +c)pa (4.101) 


证 明 1; 根据 局 部 规则 1， 如 果 像素 点 z,; 有 至 少 3 个 相 邻 的 点 满足 条 件 1Axl >g, W yy 
(% ) =1， 得 到 

















wij=z—8+(1+c)pa=z-8+(1+c)3 (4. 102) 

为 了 得 到 y (0) =1， 根 据 式 (4. 100) 需 要 满足 wii, >a -1 或 满足 x, (0) > -wj/a-1 

和 1 -a<w;,a -1， 又 因为 定义 CNN 模板 时 取 a > 1， 全 局 功能 中 已 设 定 初始 条 件 为 x,， 
(0) =0, W 


a>l 
=>w;;>0 
w;;»a-l i 
x; (0) =0 
E oo» -w,/a-l 
x; (0) 2 -w,,/a-1l a»1 一 0 <w; Sa-l 


1l -aw;,&a-1l 
(w;; »0)U (0 «w,, xa -1)2w,, »0 
ARA EX, (0) 20 的 初始 条 件 下 , MHM wj 22-8 (140)3 »0&z 3c » 5 成 立 
时 ，y,,( % ) =1， 满 足 局 部 规则 1， 得 到 z+3c>5。 证 明 完 毕 。 
证 明 2: 根据 局 部 规则 2 如 果 像 素 点 u ;有 至 多 两 个 相 邻 点 满足 条 件 1Axl >g, W y, Co) 
= -1， 得 到 
w;;-z-8-*(ltc)p,Sz -8 * (1*c)2 (4. 103) 
为 了 得 到 y,,(% ) = -1 根据 式 (4. 100) RWE w;; «1l —a 2X x,,(0) < -wj/a-1l1 和 1 


-aXw;,&a-l, 则 


a1 | 
—w,;«0 
w;,«l-a d 
x,,(0) -0 | 
—0«-w,/a-1 
x,(0) < -w;/a-l| a>1 —1l-azw;,«0 


1 -aw;;xa-1 


(w;; «0)U(1—-axw,;; «0) 2w,, «0 
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那么 在 x;;，(0) =0 的 初始 条 件 下 , 当 目 仅 当 wi,<z-8+ (1+c) 2«0ez *2c «6 成 立 


lf, y; (©) = -1。 满足 局 部 规则 2， 得 到 z+2c <6。 证 明 完 毕 。 
5. 定理 
在 上 述 模 板 条 件 下 ，CNN 能 满足 彩色 图 像 边缘 检测 的 功能 ， 当 且 仅 当 以 下 条 件 成 立 : 
a>l 
z+3c>5 (4. 104) 
zt2c«6 


根据 以 上 求解 结果 ， 可 以 根据 情况 在 式 (4. 104) 的 范围 内 选择 合适 的 参数 。 当 取 c = 2 ， 
z=1 的 情况 下 ， 彩 色 图 像 边缘 检测 的 结果 如 图 4.23 所 示 。 可 以 看 出 采用 不 同 的 距离 国 值 g， 
对 边缘 的 检测 结果 有 较 大 的 影响 。 








i 


二 一 


» o — A e >e N 
a) 原 图 b) CNN 检 测 结果 (s=0.1) c) CNN 检 测 结果 (gs=0.2) 
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4.2.2.2 基于 CNN 的 分 块 自 适应 检测 算法 

上 文 讨 论 的 CNN 边缘 检测 算法 ， 对 彩色 图 像 的 边缘 检测 结果 符合 彩色 图 像 滤 品 方法 对 
边缘 检测 结果 的 要 求 。 原 因 如 下 : CNN 算法 基于 彩色 空间 距离 逐 像素 点 计算 (并 行 )， 所 以 
边缘 定位 准确 ， 无 像素 偏 移 问 题 ， 对 噪声 无 抑制 作用 ; CNN 可 并 行 计 算 ， 并 且 便 于 硬件 实 
现 ; CNN 边缘 检测 结果 非 二 值 ， 为 下 一 步 的 边缘 滤波 提供 了 条 件 ;，CNN 边缘 检测 算法 在 彩 
色 空 间 内 对 彩色 矢量 整体 处 理 ， 充 分 利用 彩色 图 像 中 携带 的 彩色 信息 。 本 节 开 始 提 出 的 彩色 
图 像 滤 噪 方法 对 边缘 检测 结果 主要 要 求 的 2) ~5) 都 已 经 满足 ， 接 下 来 讨论 如 何 能 够 根据 
图 像 中 各 个 区 域 的 性 质 自 适应 地 选择 合适 的 参数 进行 边缘 检测 。 

4.2.2.1 节 中 介绍 的 方法 ， 其 检测 结果 满足 彩色 图 像 滤 品 流程 对 边缘 检测 结果 的 要 求 ， 
但 仍然 没有 考虑 图 像 在 不 同 区 域 的 性 质 不 同 。 对 一 幅 图 像 采用 一 组 网 络 参 数 ， 若 选用 较 小 的 
距离 阔 值 g ， 图 像 中 纹理 丰富 的 区 域 检测 出 的 边缘 过 多 ， 不 能 很 好 地 用 来 作为 下 一 步 有 针对 
性 滤 品 增强 的 依据 。 若 通过 增 大 g 值 来 消除 虚假 边缘 ， 图 像 平滑 区 域 中 的 一 些 弱小 边缘 也 会 
一 同 被 除去 ， 只 能 反映 出 图 像 大 的 轮廓 边缘 ， 也 不 能 很 好 地 用 来 作为 下 一 步 图 像 滤 品 的 依 
据 。 

鉴于 以 上 不 足 ， 为 了 在 确保 边缘 准确 的 同时 ， 最 大 可 能 地 去 除 伪 边 缘 点 ， 采 用 业 来 度量 
图 像 的 各 个 子 区 域 的 纹理 性 质 。 进 而 确定 一 组 合适 的 网 络 参 数 。 对 于 边缘 较 多 的 区 域 ， 采 用 








$43 图 像 预 处 理 . 81 . 





比较 大 的 g 值 ， 能 够 有 效 抑制 伪 边 缘 点 的 影响 ， 对 于 平滑 区 域 , 采用 比较 小 的 g 值 ， 能 够 得 
到 比较 精细 的 边缘 。 

对 整 幅 图 像 进行 分 块 自 适应 检测 ， 根 据 图 像 单元 信息 炉 进 行 分 块 ， 从 而 达到 分 块 自 适应 
的 目的 。 

综 上 所 述 ， 分 块 自 适应 边缘 检测 算法 如 下 : 

1) 将 待 分 析 的 N xM 的 彩色 图 像 ， 分 成 大 小 为 n xm 的 若干 子 区 域 。 

2) 计算 图 像 各 子 区 域 的 单元 信息 粹 ， 并 用 炉 值 来 判断 该 区 域 的 纹理 性 质 。RGB 图 像 的 
M HETZEN, KRN H =H, + Ho。 + Hs。 

3) 根据 各 子 区 域 的 性 质 ， 采 用 合适 的 g 值 。 具 体 情 况 如 下 : OD 若 该 子 区 域 为 平滑 区 
R, 参数 g 取 值 为 0. 1。@) 若 该 子 区 域 为 复合 区 域 ， 参 数 g PUEN 0.15. © 若 该 子 区 域 为 
边缘 区 域 ， 参 数 g 取 值 为 0.2。 

4) 将 常数 g E Nx M WERE G, 将 G 代 入 4.22.1 节 中 得 到 的 CNN 模板 中 ， 得 到 新 
的 CNN 模板 ， 新 模板 可 以 实现 自 适 应 地 检测 彩色 图 像 的 边缘 。 

对 加 入 0. 05 椒盐 品 oos o 吉 果 如 图 
4.24 所 示 。 可 以 看 出 检测 结果 对 边缘 定位 准确 ， 无 像素 偏 移 ， 对 噪声 无 抑制 作用 ， 可 以 用 
证 
































a) 加 入 椒盐 噪声 图 b) AE TB RS 43 FL XE EU c) 边缘 滤波 后 的 边 
缘 检 测 结果 (map A) 缘 图 (map B) 


图 4.24 IARE RUIT UE JC A 


Au 








4.2.2.3 边缘 滤波 

边缘 滤波 是 从 备 选 边缘 中 找 出 “最 重要 ”边缘 的 过 程 ， 如 果 考 虑 图 像 内 容 ， 找 出 “最 
重要 “边缘 需要 相当 复杂 的 算法 :31 。 例 如 ， 在 Lena 图 中 “最 重要 ”边缘 包括 眼睛 的 边缘 ， 
因为 这 是 Lena 图 中 观察 者 视线 主要 停留 的 区 域 ， 同 时 这 个 区 域 也 表达 了 图 像 内 容 中 重要 的 
信息 。 在 本 市 的 边缘 滤波 过 程 中 将 不 考虑 图 像 的 内 容 信 息 。 边 缘 滤 波 主要 考虑 以 下 几 个 要 
求 : 








1) 过 滤 map A 中 边缘 强度 小 的 边缘 点 ; 

2) 过 滤 map A 中 “ 短 ” 的 边缘 链 ; 

3) 过 滤 map A 中 “ 弱 ” 的 边缘 链 。 

边缘 滤波 步骤 如 下 : 

1) KER, RRE, WAKER, WAER E BE. 
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2) 连接 相 邻 的 边缘 点 ， 强 度 大 于 高 阔 值 的 点 留 下 ; 强度 小 于 低 靖 值 的 点 去 除 ; 强度 介 
于 高 低 阔 值 之 间 的 点 ， 如 果 能 与 高 靖 值 的 点 连接 在 一 条 边缘 链 上 则 留 下 ， 和 否则 去 除 得 到 若干 
条 边缘 链 的 集合 。 

3) 在 2) 的 基础 上 过 滤 边 缘 链 集合 中 长 度 小 于 边缘 链 长 度 阔 值 的 边缘 链 ; 

4) 在 3) 的 基础 上 过 滤 边 缘 链 集合 中 平均 强度 小 于 边缘 链 强度 阔 值 的 边缘 链 。 

在 步骤 2) 的 边缘 连接 过 程 中 需要 注意 以 下 问题 : 

1) 连接 过 程 中 优先 搜索 使 边缘 走向 光滑 的 点 。 例 如 ， 边 缘 链 中 上 一 个 边缘 点 在 本 边缘 
点 的 “左下 ”， 则 优先 搜索 本 边缘 点 的 “右上 ”位 置 ， 按 优先 级 其 次 是 “ 右 ” 位 置 、“ 上 ” 
位 置 ， 优 先 级 再 次 是 “左上 ”位 置 、“ 右 下 ”位 置 ， 优 先 级 最 后 是 “ 左 ” 位 置 、“ 下 ”位 
置 ， 其 他 情况 同 理 。 

2) 在 优先 级 相同 的 情况 下 ,在 8 邻 域内 优先 搜索 强度 较 大 的 边缘 点 。 

3) 边缘 单 链 连 接 结 束 后 还 要 返回 起 始点 ， 再 向 相反 方向 搜索 。 

4) 如 果 将 边缘 分 支 考虑 进去 ， 可 以 在 主 链 连 接 结 束 后 ， 依 次 以 主 链 上 每 点 作为 起 始点 
搜索 分 支 ， 搜 索 到 的 分 支点 记 入 主 链 。 此 过 程 可 递归 ， 最 好 设置 一 个 最 大 递归 深度 ， 避 人 免 递 
归 次 数 过 多 。 

map A 经 过 边缘 滤波 后 得 到 map B, map B 可 以 用 来 图 像 增强 而 不 会 带 来 彩色 图 像 失 真 。 
对 图 4. 24b 所 示 图 像 做 边缘 滤波 后 的 边缘 图 像 如 图 4. 24c 所 示 。 
4.2.2.4 实验 分 析 及 评价 

采用 512 像素 x512 像素 彩色 合成 图 加 入 0. 05 椒盐 噪声 进行 测试 ， 如 图 4.25a 所 示 。 图 
中 A、B、C 三 个 区 域 亮度 相同 ， 色 调 及 饱和 度 不 同 ， 则 这 三 个 区 域 具有 相同 的 灰 度 级 别 。 
对 图 4. 25a 边缘 检测 的 对 比 结果 如 图 4. 25b ~d 所 示 。 可 以 看 出 : 

1) 如 图 4.25b flc 所 示 , 只 检测 出 两 条 边缘 线 ， 图 4. 25c 所 示 的 两 条 线 属 于 标准 的 直 
线 ， 而 图 4.25b 所 示 的 两 条 线 受 到 噪声 的 干扰 呈现 为 小 幅 波浪 线 。 证 明了 基于 CNN 的 边缘 
检测 定位 准确 ， 无 像素 偏 移 。 

2) 如 图 4.25d 所 示 ， 检 测 出 了 所 有 的 边缘 ， 并 为 直线 。 非 边缘 区 域 产 生 的 伪 边 缘 较 少 。 
证 明了 彩色 边缘 检测 能 获得 更 多 的 边缘 信息 ， 漏 减 率 低 ， 不 致 因 噪声 造成 虚假 检测 。 

3) 图 4.25d 所 示 的 四 周 有 边 缘 线 ， 这 是 由 于 采用 了 循环 边界 条 件 造 成 的 。 























a) 加 入 椒盐 吧 声 彩色 合成 图 b) Canny 算 子 检测 EN. DEANA 


图 4.25 加 噪 合成 图 的 边缘 检测 结果 
为 了 定量 地 分 析 该 算法 的 优越 性 ， 采 用 参考 文献 [30] 中 所 用 的 定量 评价 标准 。 表 4.9 
列 出 了 用 实验 中 各 种 算法 对 合成 图 加 入 不 同 密度 的 椒盐 噪声 所 得 到 的 评价 指标 值 。 从 表 中 可 
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以 看 出 随 着 噪声 密度 的 增加 ， 本 文 算 法 的 FOM 值 明 显 大 于 其 他 算法 的 FOM 值 ， 这 说 明 本 文 
算法 在 对 含有 噪声 图 像 进行 边缘 检测 时 ， 对 强 噪 声 的 滤 品 效果 更 加 明显 。 
表 4.9 检测 结果 的 FOM 值 比较 








噪声 密度 (椒盐) Canny 检测 CNN 灰 度 检测 CNN 彩色 分 块 自 适应 检测 
0. 05 0. 8213 0. 8563 0. 9584 
0.3 0. 7421 0. 7742 0. 9183 
0.5 0. 6347 0. 6908 0. 8609 





4.2.3 KERRIER 
一 些 彩 色 图 像 滤 噪 算法 工作 在 RGB 彩色 空间 或 者 YebCr 彩色 空间 。 但 是 在 这 些 空间 中 ， 





亮度 分 量 和 色 度 分 量 不 是 独立 的 ， 改 变 其 中 之 一 会 带 来 亮度 分 量 和 色 度 分 量 的 同时 改变 。 因 
此 ,在 RGB 彩色 空间 或 者 YebCr 彩色 空间 中 ， 图 像 平 滑 的 同时 会 产生 新 的 颜色 ， 带 来 颜色 
混乱 。CIELAB 彩色 空间 通过 径 向 距离 和 角度 分 别 表示 颜色 的 饱和 度 和 色调 。 这 使 得 在 
CIELAB 彩色 空间 中 更 容易 操作 亮度 分 量 和 保持 颜色 的 一 致 性 。 

1. 改进 的 双边 滤波 

对 图 4. 24a 所 示 图 像 的 双边 滤波 滤 品 结果 如 图 4. 26 所 示 。 可 以 看 出 ， 随 着 ,和 cs 的 增 
大 ， 噪 声 被 去 除 的 同时 图 像 也 变 得 模糊 了 。 尽 管 双 边 滤波 可 以 在 一 定 程 度 保 持 图 像 的 高 频 细 
节 ， 但 是 仍然 会 使 图 像 变 模 糊 。 为 了 进一步 降低 双边 滤波 对 图 像 清晰 度 的 影响 。 本 文 提 出 对 
双边 滤波 的 一 种 改进 算法 。 主 要 改进 如 下 : 





a) aodu=l,ar=10 b) 5q=1,0r=100 c) ad=10,ar=10 d) adu=10,ar=100 


图 4.26 对 图 4.24a 双边 滤波 滤 噪 结果 

(1) 利用 4.2.2.1 节 中 边缘 检测 得 到 map A， 通 过 map A 估计 噪声 范围 ， 仅 对 map A 
中 等 于 1 的 像素 点 做 双边 滤波 ， 见 式 (4.105), HB, f (x) 28 M x N RR, 
h, (x,,). 为 双边 滤波 输出 图 像 。 

(2) 噪声 的 污染 点 本 身 的 值 不 具有 参与 平滑 的 价值 ， 将 其 加 权 系 数 置 0， 见 式 
(4.106), HB, s (e, x) 表示 彩色 空间 矢量 f(s) Sf (x) 之 间 的 相似 度 ，c (e, x) X 
示 平 面 坐 标 e 与 x 之 间 的 相似 度 。 

(3) 将 噪声 的 污染 点 f(x%,;) 与 附近 点 f(e) 之 间 的 彩色 空间 距离 修改 为 P(x，) IAE) 
之 间 的 彩色 空间 距离 ,F(x,,) Dfa) 空心 邻 域 的 CIELAB 彩色 空间 矢量 均值 , 见 式 (4. 109) 。 
双边 滤波 输出 图 像 h(x,,) 修改 为 式 (4. 107) ok x ) 为 归 一 化 因子 , 见 式 (4. 108) 。 
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AO Aayan (4. 105) 

Sxi) M e;j -0 
SCP CR S US JJ 二 0,6, 3,5) -0 
当 erj =1 和 p=i 和 qc-j 

二 


-i-m q=j-n 


h(x,,) = 


(4. 106) 


hu) = X Sos, Gu) eG, n) (4. 108) 


fo) = Qn -1)" x x 2 flxi,)) (4. 109) 


对 图 4.24a 所 示 图 像 用 上 述 方法 滤 噪 结果 如 图 4 27 所 东 。 可 以 看 出 随 着 o Mo, 的 增 
天， 噪声 被 更 好 去 除 的 同时 ， 图 像 的 清晰 度 未 见 明显 损失 。 

















a) 0471,0;-10 b) oa=1,0;=100 c) o4=10,0;=10 d) cdu=10,ai=100 








图 4.27 对 图 4.24a 所 示 图 像 改 进 的 双边 滤波 滤 噪 结 

2. 彩色 图 像 滤 噪 后 增强 

尽管 在 上 面 的 滤 噪 过 程 中 ， 彩 色 图 像 的 边缘 信息 被 很 大 程度 地 保留 ， 但 是 现实 系统 中 得 
到 的 彩色 图 像 仍然 会 有 一 定 程度 的 模糊 。 造 成 图 像 模糊 的 原因 主要 有 以 下 几 个 : 

1) 目标 位 置 移动 造成 的 镜头 聚焦 不 准 ; 

2) 目标 移动 引起 的 成 像 模糊 ; 

3) 光学 镜头 的 非 理想 性 引起 的 成 像 模糊 ， 尤 
其 在 图 像 的 四 角 位 置 。 

因此 彩色 图 像 滤 噪 后 的 增强 环节 是 必要 的 。 
这 里 可 以 采用 一 种 简单 有 效 的 彩色 图 像 增 强 方 
E07 。 利 用 前 面 得 到 的 边缘 滤波 后 的 边缘 图 map 
B， 仅 对 对 应 边缘 点 的 亮度 分 量 进行 增强 。 由 于 上 
文 提出 的 边缘 检测 算法 得 到 的 不 是 单 像素 边缘 ， 
事实 上 是 包含 边缘 两 边 很 小 区 域 的 “边缘 邻 域 ”。 
在 “边缘 邻 域 ”内 扩大 边缘 两 侧 的 亮度 差 ， 就 可 
以 达到 增强 图 像 的 效果 。 具 体 做 法 如 下 : 利用 1. | 
中 边缘 滤波 得 到 的 边缘 图 map B， 仅 对 边缘 图 map 图 4.28 ”对 图 4.27d 所 示 图 像 增强 后 的 结果 
B 中 等 于 1 的 像素 点 做 增强 ， 其 中 为 亮度 值 的 增 。。“ 萤 法 最 终结 染 ) 0, =10, o, - 100 
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强 比例 。 大 于 邻 域 均值 的 点 按 比 例 增 加 甚 亮度， 小 于 邻 域 均值 的 点 按 比例 减 小 其 亮度 ， 见 式 


(4.110), 、 式 (4.111), 


4.2.4 实验 结果 及 分 析 


L(x,) 2 QL(x;) EIOS 
Lm) z L(x;;) - L(x;;) 3er, 
L(x,;) 


1 i+1 
b; = 925 


EIOS 


j*l 


j-l 


=1) 和 (L(x;,) > 8,) 
= 1) 和 (L(x;,) < Oig) 
= 0) (L(x) = 0,,) 


L(x,,) 


(4. 110) 


(4. 111) 


彩色 图 像 滤 噪 要 求 在 去 除 噪声 的 同时 ， 尽 可 能 保留 图 像 的 细节 和 纹理 。 为 了 检验 上 述 方 
法 的 有 效 性 ， 进 行 了 大 量 的 实验 。 使 用 不 同 图 像 分 别 加 入 不 同 密度 的 噪声 对 上 述 方法 进行 了 





























测试 ， 上 述 方 法 对 脉冲 噪声 和 高 斯 噪声 都 有 很 好 的 滤 噪 效果。 双边 滤波 滤 噪 结果 与 上 述 算法 
滤 品 结果 的 比较 见 表 4. 10 和 图 4.29, 
表 4.10 双边 滤波 滤 噪 结果 与 本 章 CNN 算法 滤 噪 结果 的 PSNR 值 比较 (单位 : db) 







































































A 噪声 密度 -— 通道 噪声 图 像 双边 滤波 滤 品 | 本 文 方法 滤 噪 
(椒盐 + 高 斯 ) 结 结果 
及 17. 45 18. 16 33. 10 
0. 05 +0. 005 1, 10 G 16. 96 17. 35 30. 89 
B 17. 02 17.53 32.48 
R 17. 45 26. 60 34.14 
0. 05 +0. 005 1, 100 G 16. 96 24. 30 31. 88 
B 17. 02 25. 20 33. 77 
R 17. 45 18. 91 28. 83 
Pappers 0. 05 +0. 005 10, 10 G 16. 96 17. 59 26. 34 
B 17. 02 17. 89 27.27] 
R 17.45 26. 83 34.14 
0. 05 +0. 005 10, 100 G 16. 96 24. 00 31. 88 
B 17.02 26. 11 33. TI 
R 10. 82 21. 12 24. 37 
0.3 +0. 01 10, 100 G 10. 11 17. 62 20. 22 
B 10. 14 18. 46 21.16 
R 17. 64 27. 13 35.34 
0. 05 +0. 005 10, 100 G 17. 68 27. 62 35.32 
B 16. 93 25. 96 34.55 
Iris 
R 11.07 19. 16 22. 69 
0.3 +0. 01 10, 100 G 10. 96 20. 94 23.33 
B 10. 13 19. 19 22. 08 
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加 入 噪声 的 图 像 双边 滤波 滤 噪 结果 本 文 算法 滤 噪 结果 
噪声 密度 (椒盐 + 高 斯 ) ad=10,ar=100 ad=10,ar=10 





d) Iris(0.05+0.005) e) f) 


g) Iris(0.3+0.01) h) i) 
图 4.29 双边 滤波 滤 品 结果 与 本 章 CNN 算法 滤 品 结果 的 比较 

实验 表明 ， 在 噪声 密度 较 低 的 情况 下 ， 上 述 方法 在 去 除 噪声 的 同时 ， 图 像 的 清晰 度 未 见 
明显 损失 。 在 噪声 密度 较 高 的 情况 下 ， 上 述 方法 在 去 除 噪 声 的 同时 图 像 的 清晰 度 有 一 定 损 
失 。 原 因 是 彩色 图 像 在 三 个 通道 独立 加 噪 的 情况 下 ， 任 意 一 个 通道 被 污染 就 会 造成 整个 像素 
的 污染 。30% 的 噪声 往往 带 来 65% 以 上 的 像素 被 污染 。 

为 了 检验 上 文 彩 色 图 像 滤 噪 方法 的 滤 品 效果 ， 用 该 方法 与 其 他 基于 双边 滤波 的 滤 噪 方法 
进行 对 比 实验 。 实 验 结果 如 图 4. 30 所 示 。 为 了 验证 该 算法 在 实际 应 用 中 的 效果 ， 图 4.31 所 
示人 脸 图 像 为 视线 追踪 系统 中 用 于 面部 位 姿 佑 计 和 平面 视线 参数 检测 的 图 像 。 视 线 追 踪 需 融 
合 人 脸 特 征 提 取 、 眼 部 特征 识别 等 多 种 生物 特征 识别 技术 ， 关 键 技 术 包 括 瞳 孔 分 制 及 中 心 定 
位 、 瞳 孔 跟 踪 、 人 脸 多 特征 检测 及 跟踪 等 。 在 图 像 采 集 和 传输 过 程 中 由 于 头 部 活动 和 量化 处 
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理 造 成 成 像 模糊 与 噪声 。 在 实时 视线 追踪 系统 中 对 人 脸 图 像 进行 预 处 理 ， 滤 噪 结果 如 图 
4.31 所 示 。 
jg 









a) 加 入 噪声 的 Pappers b) 参 考 文献 [4 方法 co) 参考 文献 [5] 方 法 


由) 本 文 方法 
图 (PSNR=10.35) (PSNR=19.06) (PSNR=20.47) (PSNR=21.91) 


图 4.30 其 他 双边 滤波 方法 滤 品 结果 与 本 文 算法 滤 噪 结果 的 比较 


cus TILINI TEE 4 UMS 
XA DEDCU Ue ve 
eR. Duran 
j ? ^ Vd 
T m 





hine 











a) 人 脸 图 像 PSNR=17.41) b) map A c) map B d) 本 文 方法 PSNR=37.02) 


图 4.31 人 脸 图 像 滤 品 结果 














4.3 本 章 小 结 


本 章 主要 阐述 了 与 视线 追踪 系统 相关 的 两 种 图 像 预 处 理 方法 ， 即 基于 反对 称 双 正 交 小 波 
重 构 的 图 像 增强 方法 和 基于 CNN. 的 边缘 检测 与 双边 滤波 的 彩色 图 像 滤 噪 方法 。 

在 基于 反对 称 双 正 交 小 波 重 构 的 图 像 增强 方法 中 ， 详 细 论 述 了 反对 称 双 正 交 小 波多 尺度 
边缘 检测 的 相关 理论 基础 ， 即 反对 称 双 正 交 小 波 变 换 所 具有 的 卷 积 运算 性 质 、 微 分 算 子 功能 
和 边缘 检测 的 重 构 算法 。 在 此 基础 上 阐述 了 基于 反对 称 双 正 交 小 波 重 构 的 图 像 增强 方法 。 这 
种 方法 是 在 小 波 塔 式 数据 分 解 的 重 构 过 程 中 ， 利 用 小 波 重 构 的 中 间 结 果 有 针对 性 地 实现 了 对 
图 像 边缘 的 锐 化 增强 ， 为 图 像 增强 和 图 像 滤 噪 增强 提供 了 一 种 新 的 解决 办 法 。 

基于 反对 称 双 正 交 小 波 的 图 像 增强 方法 仍 有 许多 深入 研究 的 空间 ， 如 可 对 半 重 构 过 程 中 
的 模 极 大 值 图 进行 分 析 ， 区 分 强 边缘 和 弱 边 缘 点 ， 进 而 采取 非 线 性 增强 函数 或 自 适 应 增强 系 
数 拉 伸 半 重 构图 像 ， 可 以 取得 更 加 满意 的 效果 。 例 如 ， 可 根据 多 尺度 边缘 图 像 之 间 的 相关 性 
进一步 滤 除 噪声 等 。 对 上 述 问题 的 研究 将 会 进一步 改善 算法 的 性 能 。 

彩色 图 像 的 滤 噪 增强 是 一 个 数字 图 像 系 统 必 须 面 对 的 实际 问题 。 边 缘 检 测 和 双边 滤波 相 
结合 的 彩色 图 像 滤 品 方法 首先 利用 细胞 神经 网 络 (CNN) 模型 导出 一 种 新 的 彩色 图 像 分 块 
自 适应 边缘 检测 算法 ， 继 承 了 CNN 灰 度 边缘 检测 算法 定位 准确 的 优点 ， 又 弥补 了 CNN SUR 
算法 不 能 直接 处 理 彩 色 图 像 的 空白 。 在 此 基础 上 ， 用 改进 的 双边 滤波 器 对 彩色 图 像 进行 滤 
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品 ， 通 过 非 抗 噪 边缘 图 对 噪声 范围 进行 定位 ， 以 缩小 双边 滤波 的 范围 ， 减 少 滤 噪 过 程 带 来 的 
图 像 模糊 ， 并 且 对 双边 滤波 加 权 平均 方式 进行 改进 ， 减 小 噪声 点 本 身 的 权重 ， 降 低 高 频 噪 声 
的 影响 。 基 于 边缘 检测 和 双边 滤波 的 彩色 图 像 滤 品 及 图 像 增强 的 方法 具有 以 下 特点 : 

1) 通过 两 级 边缘 检测 满足 滤 噪 不同 阶段 对 边缘 检测 的 不 同 要 求 。 通 过 非 抗 噪 边缘 检测 
改进 双边 滤波 ， 减 少 滤 噪 过 程 带 来 的 图 像 模糊 。 对 滤 噪 后 的 彩色 图 像 进行 基于 滤波 后 边缘 增 
强 ， 补 途 滤 噪 过 程 中 边缘 的 损失 。 

2) 根据 方法 各 个 阶段 的 需要 ， 方 法 中 会 使 用 不 同 的 彩色 空间 。 在 RGB 彩色 空间 进行 边 
缘 检测 以 定位 边缘 及 噪声 ,在 CIELAB 彩色 空间 滤 噪 以 保持 颜色 的 一 致 性 ， 仅 对 亮度 分 量 进 
行 增强 以 避免 颜色 的 混乱 与 失真 。 

3) 各 个 环节 都 可 以 通过 硬件 实现 ， 为 实时 系统 的 图 像 前 期 处 理 提 供 了 依据 。 基 于 边缘 
检测 和 双边 滤波 的 彩色 图 像 滤 品 及 图 像 增强 方法 ， 对 视线 追踪 系统 的 人 脸 图 像 滤 品 效果 验证 
了 其 有 效 性 和 实用 性 。 














参考 文献 


[1] | Brown TJ. An adaptive strategy for wavelet based image enhancement [C] //Proceedings of Conference on 
Machine Vision and Image Processing Conference, Irish, 2000, 27-81. 

[2] ” 魏 海 ， 沈 兰 苏 . 反对 称 双 正 交 小 波 应 用 于 多 尺度 边缘 提取 的 研究 [3] . 电子 学 报 ，2002，30 (3): 
313-316. 
[3] HÆ, AFE, EKI, SR. 多 尺度 对 称 变换 及 其 应 用 于 定位 人 脸 特 征 点 [1] . 电子 学 报 ， 
2002, 30 (3): 362-366. 

[4] Li Kyu Eom, Yoo Shin Kim. Image Denoising Using Statistical Classification of Wavelet Coefficients [C] // 
Proceeding of IEEK Fall Conference, 2002, 25 (2) ; 529-532. 

[5] | Leon O Chua, Lin Yang. Cellular Neural Networks: Theory [J] . IEEE Transaction on Circuits System, 
1988, 35 (10) : 1257-1272. 

[6] Leon O Chua, Lin Yang. Cellular Neural Networks: Applications [J] . IEEE Transcation on Circuits Sys- 
tem, 1988, 35 (10) : 1273-1290. 

[7] Fan Zou, Josef A Nossek. A Chaotic Attractor with Cellular Neural Networks [J] . IEEE Transaction on 
Circuits System, 1991, 38 (7) ; 811-812. 

[8] Leon O Chua, Tamas Roska. The CNN Paradigms [J] . IEEE Transaction on Circuits System, 1993, 40 
(3): 147-156. 

[9] Tamas Roska, Leon O Chua. CNNs with Nonlinear and Delay - type Template Elements and Non-uniform 
Grids [J] . International Journal of Circuit and Applications, 1992, 20 (5); 469-481. 

[10] BRW. 动力 系统 的 稳定 性 理论 和 应 用 [M] . 北京 : 国防 工业 出 版 社 ，2002 

[11] Yang T , Yang L B. The Global Stability of Fuzzy Cellular Neural Network [J] . IEEE Transaction on Circuits 
Syst I, 1996, 43 (10) : 880-883. 

[12] | Leon O Chua. Passivity and complexity [J] . IEEE Transaction Circuits System I, 1999, 46 (1) : 71-82. 
[13] L Min, K R Crounse, Leon O Chua. Analytical Criteria for Local Activity of Reaction-Diffusion CNN with 


















































Four State Variables and Applications to the Hodgkin-Huxley Equation [J] . International Journal Bifurca- 
tion and Chaos, 2000, 10 (6) : 1295-1343. 

[14] ARR, 王 静 涛 .三 端口 四 变量 CNN 的 局 部 活动 性 理论 [1] . 北京 科技 大 学 学 报 ，2002，24 
(1): 79-82. 

















$43 图 像 预 处 理 . 89 . 





[16] 


[17] 


[18] 


[19] 








[20] 


[24] 


[25] 
[26] 


[27] 


[28] 
[29] 


[30] 








[31] 


L Min, X Dong. Analytical Criteria for Local Activity of CNN with Five State Variables and Applications to 
Hyper-Chaos Synchronization Chua's circuit [J] . Journal of University of Scionse and Technology, Bei- 
jing, 2002, 9 (4) : 311-318. 

Makoto Itoh, Leon O Chua. Design CNN Genes [J] . International Journal Bifurcation and Chaos, 2003, 
13 (10) ; 27392824. 

Min L, Lei M , Dong X. New Templates of CNN for Extracting Corners of Objects in Gray-scale Images 
[J] . Journal of University of Science and Technology, Beijing, 2003, 10 (3) : 73-75. 

Li G, Min L , Zang H . Design for robustness edgegray detection CNN [C] //Proe 2004 Int Conf on 
Communications, Circuits and Systems. Chengdu, China, 2004, 2: 1061-1065. 

Paolo Arena, Maide Bucolo, Stefano Fazzino, et al. The CNN Paradigm: Shapes and Complexity [J] . Int 
J Bifur Chaos, 2005, 15 (7) : 2063-2090. 

Zang H , Li G, Min , et al. Design for robustness Counter detection CNN with Applications [ C] // 
Proc 2005 Internation Conference on Communications, Circuits and Systems. Hong Kong, China, 2005, 2: 
953-958. 

Min L. Robustness desins of a kind of uncoupled CNNs with applications [ C] // Proc of 9th IEEE Int 
Workshop on Cellular Neural Networks and Applications. Hsinchu, Taiwan, China, 2005: 98-101. 

Li W , Min L. Robustness Design for CNN Templates with Performance of Extracting Closed Domain [J] . 
Communications in Theoretical Physics, 2006, 45 (1): 189-192. 

LiuJ , Yin P , Min L Robust Template Designs for Selected Objects Extraction and Masked Object CNNs 
with Applications [ C] // Proceeding of 2007 IEEE International Conference on Control and Automation. 
Guangzhou, China, 2007, 5; 3122-3128. 

Li W , Min L. Analysis and Robust Design for Illusion CNNs [ C] // IEEE International Conference on 
Networking, Sensing and Control. Sanya, China, 2008, 4. 827-831. 

雷鸣 . 基于 细胞 神经 网 络 的 图 像 处 理 方法 及 应 用 研究 [D] . 北京 : 北京 科技 大 学 ，2004. 

Jian Fan. A local orientation coherency weighted color gradient for edge detection [ C] //2005 International 
Conference on Image Processing. 2006, M-1132-5. 

Bai Xiao Ming, Shi Qin, Yin Bao Cai, Su Shi-qian, Color edge detection based on HSV space [J] . Jour- 
nal of Beijing University of Technology, 2004, 30 (4) : 500-504. 

冈 萨 雷 斯 ， 等 . 数字 图 像 处 理 [M] . 2 版 . 北京 : 电子 工业 出 版 社 ，2003. 

Mallat S, Zhang S. Characterization of signals from multiscale edges [J] . IEEE Transaction on PAMI , 
1992 , 14 (7) : 710-732. 

Abdou I E , Pratt W K. Quantitative design and evaluation of enhancement/ thresholding edge detectors 
[J] . Proc IEEE, 1979, 67 (5): 753 - 763. 

Wen Chung Kao, Ying Ju Chen. Mltistage bilateral noise filtering and edge detection for color image en- 


hancement [J] . IEEE Transaction on Consumer Electronics, 2005, 51 (4) : 1346-1351. 


















































4:5 视线 参数 检测 


视线 追踪 是 利用 机 械 、 电 子 、 光 学 等 各 种 检测 手段 获取 受 试 者 当前 “注视 方向 ”的 技 
术 。 按 照 系统 构成 和 采用 的 检测 方法 不 同 ， 可 以 粗略 地 将 它 划 分 为 侵入 式 和 非 侵入 式 视线 追 
踪 。 它 在 人 机 交互 和 疾病 诊断 两 个 领域 有 着 广泛 的 应 用 ， 如 助残 、 虚 拟 现实 、 认 知 障碍 诊 
断 、 车 辆 辅助 驾驶 、 人 因 分 析 等 。 用 于 诊断 的 视线 追踪 系统 可 以 采用 侵入 式 (AER, F 
SX) 视线 追踪 ， 以 达到 更 高 的 精度 。 用 于 交互 的 视线 追踪 系统 除了 对 精度 、 和 鲁 棒 性 、 实 
时 性 的 要 求 以 外 ， 还 需要 最 大 程度 地 减少 或 消除 对 使 用 者 的 干扰 。 随 着 数字 化 技术 、 计 算 机 
视觉 技术 、 人 工 智 能 技术 的 迅速 发 展 ， 基 于 数字 视频 分 析 (如 视频 眼 动 图 ，Video Oculo- 
graphic, VOG) 的 非 侵 入 式 视线 追踪 技术 成 为 当前 热点 研究 方向 。 

视线 追踪 技术 利用 眼球 转动 时 相对 位 置 不 变 的 某 些 眼 部 结构 和 特征 作为 参照 ， 在 位 置 变 
化 特征 和 这 些 不 变 特征 之 间 提 取 视 线 ( 即 视线 方向 或 注视 点 ，Line of Sight/Point of Regard, 
LOS/POR) 变化 参数 ， 然 后 通过 几何 模型 或 映射 模型 获取 视线 方向 。 因 此 ， 基 于 voc 的 视 
线 追 踪 技 术 分 为 视线 特征 参数 提取 和 视线 估计 模型 建立 两 个 组 成 部 分 。 随 着 系统 硬件 和 提取 
的 图 像 特征 不 同 ， 基 于 VOG 的 视线 追踪 方法 可 分 为 如 下 几 类 : 

(1) 瞳孔 中 心 - 角 膜 反 射 法 (The Pupil Center Cornea Reflection Technique, PCCR) 

采用 红外 光源 产生 角膜 反射 〈 普 尔 钦 斑 ) ， 通 过 计算 瞳孔 中 心 与 角膜 反射 之 间 的 矢量 来 
估计 视线 方向 。 视 线 估计 模型 可 以 采用 非 线性 多 项 式 模型 ， 也 可 以 采用 几何 模型 。 

(2) 角膜 反射 矩阵 法 (Bl Cross-Ratios Method) 

多 红外 光源 在 角膜 上 产生 多 个 角膜 反射 ， 形 成 角膜 反射 矩阵 。 通 过 计算 角膜 反射 与 瞳孔 
中 心 的 位 置 特 征 估计 视线 方向 ， 视 线 估 计 模 型 使 用 投影 平面 不 变 的 交 比 (Cross-Ratios) 值 。 

(3) 椭圆 法 线 方向 法 (“One-Circle”Algorithm) 
通过 记录 高 分 辩 率 眼睛 图 像 ， 计 算 虹 膜 边 界 圈 的 法 线 方向 估计 视线 方向 。 在 可 见 光 下 追 
踪 高 分 辨 率 的 眼睛 图 像 ， 并 通过 基本 的 投影 几何 关系 计算 椭圆 虹膜 边界 圈 的 法 线 方向 ， 并 视 
其 为 视线 方向 。 

人 了 眼 特 征 提取 和 视线 参数 检测 是 视线 追踪 系统 的 必要 过 程 和 前 提 。 人 了 眼 特 征 提取 的 质量 
直接 关系 到 视线 估计 的 精度 。 根 据 上 述 视线 追踪 方法 的 不 同 ， 提 取 的 眼 部 特征 和 视线 方向 参 
数 可 分 为 以 下 几 类 : 

1) 瞳孔 中 心 -角膜 反射 法 提取 的 视线 参数 是 瞳孔 中 心 与 角膜 反射 的 矢量 ， 因 此 要 分 割 瞳 
孔 和 角膜 反射 〈 普 尔 钦 斑 ) ， 检 测 瞳 孔 和 角膜 反射 的 边缘 特征 ， 拟 合 瞳 孔 圆 和 普尔 钦 斑 圆 , 
进而 定位 瞳孔 和 普尔 钦 斑 中 心 ; 

2) 角膜 反射 矩阵 法 提取 的 视线 参数 是 若干 个 角膜 反射 点 形成 的 矩阵 ， 因 此 要 分 割 角 膜 
反射 ， 检 测 角 膜 反 射 区 域 边界 ， 定 位 各 个 角膜 反射 的 中 心 ; 

3) 虹膜 椭圆 边界 方法 提取 的 视线 参数 是 虹膜 的 椭圆 边界 ， 因 此 要 分 割 虹 膜 ， 检 测 虹 膜 
的 边缘 ， 拟 合 虹膜 椭圆 ， 进 而 计算 虹膜 法 线 方向 。 

VOG 系统 普遍 采用 有 瞳孔 中 心 -角膜 反射 法 。 假 设 角 膜 是 规则 的 球面 ， 善 尔 钦 斑 作为 红外 
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光源 在 角膜 球面 上 的 成 像 ， 无 论 球面 如 何 转动 ， 该 斑点 在 球面 上 的 绝对 位 置 是 不 会 发 生 太 大 
变化 的 。 这 样 ， 当 眼球 转动 时 ， 亮 斑 在 球面 上 的 位 置 基本 不 变 。 普 尔 钦 斑 作 为 一 个 位 置 标 
准 ， 在 视线 方向 发 生变 化 时 ， 可 以 通过 它 提 取 相 应 变化 的 参数 。 如 图 2.4 和 图 2. 5 所 示 ， 人 
注视 9 个 不 同位 置 时 ， 普 尔 钦 斑 与 瞳孔 的 相对 位 置 关 系 发 生 了 有 规律 的 变化 。 图 中 阴影 区 为 
虹膜 ， 黑 色 圆 形 区 为 瞳孔 ， 而 白色 小 圆 为 普尔 钦 斑 。 

为 了 提高 系统 的 准确 性 与 稳定 性 ， 减 少 环境 光照 的 影响 ， 瞳 孔 中 心 -角膜 反射 法 一 般 采 
用 基于 主动 红外 光源 的 亮 上 暗 瞳 差分 方案 。 这 样 便于 在 整 幅 脸 部 图 像 中 快速 捕捉 眼睛 和 在 局 部 
眼睛 图 像 中 精细 准确 地 分 割 瞳 孔 。 红 外 光源 的 光谱 波 设 置 在 880nm 左右 ， 对 人 眼 不 可 见 ， 
对 人 没有 干扰 作用 。 摄 像 机 光学 镜头 上 安装 红外 滤 光 片 ， 可 摄取 红外 人 脸 图 像 。 亮 暗 瞳 差 分 
方案 的 一 般 过 程 如 下 : 设置 与 摄像 机 镜头 同 轴 的 内 外 环 近 红 外 (IR) 光源 分 别 产 生 “ 亮 瞳 ” 
和 “暗暗 ”现象 。 控 制 光源 交替 亮 暗 ， 产 生 亮 瞳 和 暗 瞳 隔 帧 交替 出 现 的 视频 序列 。 利 用 相 
邻 亮 暗 瞳 图 像 的 差分 ， 使 瞳孔 信息 相对 突出 ， 消 除 背 景 影响 。 亮 暗 瞳 差分 方案 中 ， 一 般 采 用 
浆 值 法 分 割 瞳 孔 和 普尔 钦 斑 。 从 图 像 序列 中 检测 人 眼 视线 特征 参数 ， 并 准确 定位 角膜 反射 和 
































瞳孔 中 心 。 这 是 高 性 能 的 视线 跟踪 系统 的 必要 步骤 ， 此 外 还 要 求 算法 的 实时 性 ， 使 该 系统 能 
够 实时 工作 。 





为 了 提高 检测 的 稳定 性 ， 研 究 人 员 提 出 了 很 多 眼睛 检测 方法 。 如 通过 设置 动态 姜 值 消除 
不 同 光 照 条 件 下 背景 影响 一 一 参考 文献 [1] 中 根据 人 脸 区 域 的 灰 度 变化 随时 对 阐 值 进行 调 
整 ， 以 适应 光照 的 变化 。 如 结合 眼睛 外 观 ， 进 行 眼睛 检测 一 一 参考 文献 [2] 中 根据 眼睛 的 
外 观 建 立 了 一 系列 的 判别 规则 ， 综 合 起 来 进行 眼睛 区 域 的 识别 。 如 对 差分 图 像 进行 形状 滤 
波 ， 以 消除 外 部 光线 干扰 一 一 参考 文献 [3] 中 对 图 像 差分 过 程 产生 的 干扰 区 域 进 行 过 滤 ， 
留 下 真实 瞳孔 的 区 域 进 行进 一 步 的 特征 提取 。 如 在 国 值 化 后 的 差分 图 像 中 ， 通 过 支持 矢量 机 
(Support Vector Machine, SVM) 对 瞳孔 候选 区 域 进行 分 类 ， 以 排除 头 部 随机 运动 产生 的 干 
扰 区 域 一 一 参考 文献 [4, 5] 中 对 差分 所 得 的 瞳孔 候选 区 域 进行 验证 识别 ， 去 除非 瞳孔 区 
域 。 但 这 种 方法 的 识别 效果 取决 于 样本 ,对 新 的 使 用 者 的 识别 效果 并 不 理想 。 

瞳孔 中 心 与 角膜 反射 的 定位 是 该 类 视线 特征 提取 所 要 解决 的 共性 问题 ， 特 征 参数 提取 需 
要 满足 以 下 几 点 要 求 : 

1) 眼睛 特征 检测 与 跟踪 的 特征 参数 提取 过 程 是 自动 进行 的 ， 不 需要 使 用 者 干预 ; 

2) 整个 特征 参数 提取 过 程 快速 准确 ， 应 满足 视线 估计 对 参数 的 精度 和 实时 性 要 求 ; 

3) 能 够 提取 用 于 视线 估计 的 所 有 特征 人 参数， 包括 估计 头 部 位 置 所 需要 的 参数 ; 

4) 特征 参数 提取 过 程 能 适应 个 体 差 异 ， 不 因为 眼睛 大 小 、 形 态 个 体 差 异 而 影响 算法 性 
能 。 

如 前 所 述 ， 无 论 视线 追踪 系统 结构 是 采用 单 摄像 机 还 是 采用 多 摄像 机 ， 视 线 参 数 检 测 是 
基于 VOG 视线 追踪 系统 的 共性 问题 。 本 章 主要 介绍 了 基于 瞳孔 中 心 -角膜 反射 原理 并 采用 亮 
章 瞳 差分 方案 的 VOG 视线 追踪 系统 的 眼睛 特征 提取 和 视线 参数 检测 方法 。5.1 节 中 介绍 了 
采用 窄 视野 摄像 机 的 视线 追踪 系统 视线 参数 检测 方法 ， 主 要 关注 的 是 高 精度 的 视线 参数 检 
测 。 即 如 何在 眼睛 特征 提取 过 程 中 排除 干扰 因素 ， 并 获得 稳定 的 、 高 精度 的 眼睛 特征 。5. 2 
节 中 介绍 了 一 种 采用 宽 视 野 摄像 机 的 视线 追踪 系统 视线 参数 的 检测 方法 ， 由 于 头 部 图 像 在 整 
个 系统 采集 图 像 中 所 占 比例 不 大 ， 因 此 首先 需要 准确 地 定位 头 部 位 置 。 
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5.1 基于 主动 红外 光源 的 窄 视野 摄像 机 系统 视线 参数 检测 


如 前 所 述 ， 基 于 VOG 的 视线 追踪 系统 由 摄像 机 、 红 外 光源 、 图 像 采 集 卡 、 帧 同步 卡 、 
单片机 系统 组 成 。 摄 像 机 可 采用 容 视 野 摄像 机 或 宽 视野 摄像 机 。 守 视野 摄像 机 系统 可 以 摄取 
大 比例 的 眼 部 图 像 ， 可 进行 高 分 辨 率 的 视线 参数 检测 ， 获 得 较 高 精度 的 视线 方向 。 但 由 于 摄 
像 机 视野 较 窄 ， 人头 部 的 运动 往往 受到 限制 ， 否 则 人 脸 图 像 将 移 到 摄像 机 视野 以 外 而 无 法 检 
测 视线 方向 。 因 此 ， 窒 视野 摄像 机 系统 的 视线 参数 检测 主要 关注 的 是 高 精度 提取 人 有 眼 视线 特 
征 参 数 。 

在 这 类 视线 追踪 系统 中 ， 人 有 眼 特 征 提取 影响 最 终 视 线 佑 计 精 度 的 原因 主要 有 以 下 几 点 : 

1) 由 于 角膜 反射 点 (普尔 钦 斑 ) 一 般 分 布 在 瞳孔 或 瞳孔 与 巩膜 交界 处 ， 因 此 角膜 反射 
会 造成 瞳孔 轮廓 改变 ， 分 割 瞳孔 过 程 中 易 造 成 瞳孔 定位 误差 。 

2) 由 于 相 邻 的 亮 瞳 和 暗 瞳 图 像 不 是 同时 采集 的 。 虽 然 相 隔 时 间 很 得， 但 在 瞳孔 运动 情 
况 下 ， 相 邻 两 帧 图 像 中 瞳孔 目标 并 不 在 同一 位 置 上 ， 尤 其 是 在 图 像 采 集 频 率 较 低 的 视线 追踪 
系统 中 。 因 此 ， 瞳 孔 运 动 会 造成 亮 暗 瞳 差分 图 像 的 瞳孔 区 域 不 全 ， 造 成 运动 瞳孔 定位 误差 。 

3) 角膜 反射 是 红外 光源 在 角膜 上 的 反射 光 点 ， 从 形状 上 看 ， 并 不 是 严格 的 圆 形 点 。 基 
于 瞳孔 角膜 反射 的 视线 方向 估计 需 提取 视线 方向 参数 ， 即 瞳孔 中 心 到 角膜 反射 中 心 的 矢量 。 
因此 ， 必 须 检 测 并 计算 角膜 反射 光 点 中 心 的 图 像 坐标 。 那 么 ， 角 膜 反 射 点 形状 的 不 规则 和 边 
界 的 不 确定 性 ， 会 造成 角膜 反射 中 心 的 定位 误差 。 

4) 由 于 头 部 的 随机 和 运动， 亮 暗 瞳 图 像 差 分 后 ， 除 保留 了 瞳孔 目标 外 ， 图 像 还 残留 其 他 
面部 信息 。 这 是 造成 国 值 分 割 法 瞳孔 定位 误差 的 主要 原因 。 


5.1.1 亮 瞳 和 暗 瞳 图 像 判别 及 图 像 差 分 


基于 瞳孔 中 心 -角膜 反射 的 视线 妃 踩 系统 普遍 采用 腕 暗 瞳 差分 方案 ,通过 控制 近 摄 像 机 
光 轴 的 红外 光源 的 交 蔡 亮 灭 ， 在 序列 视频 图 像 的 相 邻 两 帧 中 分 别 产 生 亮 上 暗 和 了 暗 瞳 图 像 ， 通 过 
亮 瞳 图 像 和 暗 瞳 图 像 差 分 ， 可 以 有 效 地 突出 瞳孔 目标 ， 瞳 孔 目 标的 检测 是 在 差分 图 像 上 进行 
的 。 因 此 在 视线 追踪 系统 摄像 机 采集 的 序列 人 脸 图 像 中 ， 在 相 邻 两 帧 中 准确 区 分 亮 瞳 和 暗暗 
图 像 是 参数 提取 过 程 正常 运行 的 前 提 ， 也 就 是 说 ， 在 眼睛 特征 提取 和 视线 参数 检测 之 前 ， 必 
须 有 效 区 分 采集 相 邻 帧 图 像 中 哪 一 帧 是 亮 瞳 图 像 ， 哪 一 帧 是 暗暗 图 像 。 我 们 经 过 大 量 实 验 ， 
得 到 以 下 关于 序列 图 像 中 亮 瞳 图 像 和 暗 瞳 图 像 规律 : 
1) 暗 瞳 区 域 灰 度 值 个 体 差异 很 小 ， 是 一 个 比较 稳定 的 瞳孔 特征 ; 
2) 亮 瞳 区 域 的 灰 度 值 个 体 差异 较 大 ,但 其 与 暗 瞳 区 域 的 灰 度 差 值 在 光源 固定 的 前 提 下 
AA NT-— PUE BITE , 
根据 以 上 规律 ， 可 以 从 视频 序列 连续 两 帧 中 判断 亮 暗 瞳 图 像 ， 从 而 进行 差分 。 
设 ImA 、ImB 是 连续 的 两 帧 图 像 ，[mA;;、ImB;, 分 别 是 图 像 ImA、ImB 上 的 点 的 灰 度 值 ， 
根据 上 述 事 实 得 出 如 下 规则 : 
X5 | ImA,;, -ImB;;] >> È | ImB;; -ImA;;|] ~0  ImA z/^, ImB - 7" 
35» | ImB;;-ImA;;| >> X1 ImA;; -ImB;;| ~0 ImA=7, ImB- ^ 
式 中 , P, TOIREAR; 1 ImA;; — ImB;; | 为 ImA 减 去 ImB 像素 灰 度 值 的 
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总 和 ; ÈI ImB,; - ImA,; 1 为 ImB 减 去 ImA 像素 灰 度 值 的 总 和 。 由 于 亮 瞳 孔 灰 度 值 较 高 ， 暗 
瞳孔 灰 度 值 较 低 ， 亮 瞳 图 像 减 去 暗 瞳 图 像 会 产生 较 多 的 非 0 像素 点 ; 暗暗 网 像 减 去 亮 瞳 图 像 
会 产生 较 多 灰 度 值 为 0 的 像素 点 。 如 果 差 分 图 像 像 素 灰 度 和 | ImA; ; - ImB,,1>> > | ImB;; 
-ImA;;| =0， 则 判断 ImA 为 亮 瞳 图 像 ，ImB 为 暗 瞳 图 像 ， 如 果 差 分 图 像 像 素 灰 度 和 
X | ImB,; -ImA;;|] >> X | ImA;; - ImB,; 1 =0， 则 判断 ImB 为 亮 瞳 图 像 ，ImA 为 暗暗 图 像 。 
亮 瞳 、 暗 瞳 和 差分 图 像 如 图 5. 1 所 示 。 





c) 亮 暗 瞳 差 分 图 像 
图 5.1 暗 瞳 、 亮 瞳 和 差分 图 像 





5.1.2 视线 特征 参数 提取 


根据 上 述 视线 特征 参数 提取 的 要 求 ， 本 节 介 绍 一 种 满足 视线 估计 要 求 的 特征 参数 提取 方 
法 ， 该 方法 流程 如 图 5. 2 所 示 。 

首先 ， 亮 瞳 与 暗 瞳 图 像 相 减 得 到 差分 图 像 ， 对 差分 图 像 进 行 滤波 处 理 ， 得 到 瞳孔 区 域 。 
由 于 得 到 的 瞳孔 区 域 存在 干扰 ， 需 要 根据 形状 和 大 小 对 瞳孔 区 域 进行 滤波 ， 去 除 伪 有 瞳孔 区 
域 ， 保 留 真实 的 瞳孔 区 域 。 在 检测 到 的 瞳孔 区 域 的 基础 上 ， 检 测 瞳 孔 区 域 的 边缘 ， 并 在 瞳孔 
区 域 附近 基于 灰 度 搜索 角膜 反射 。 在 暗暗 图 像 上 角膜 反射 是 一 块 连续 的 高 亮度 区 域 ， 根 据 灰 
度 阔 值 就 可 以 分 割 出 角膜 反射 。 然 后 在 分 割 出 的 角膜 反射 区 域 的 基础 上 ， 在 区 域内 求 质心 来 
定位 角膜 反射 中 心 。 由 于 角膜 反射 对 瞳孔 边缘 的 影响 ， 改 变 了 瞳孔 的 边缘 ， 影 响 了 瞳孔 中 心 
的 定位 精度 ， 所 以 需要 对 瞳孔 边缘 做 滤波 ， 从 而 消除 角膜 反射 对 瞳孔 边缘 轮廓 的 影响 。 根 据 
瞳孔 和 角膜 反射 区 域 位 置 的 几 种 关系 ， 分 别 采 取 对 应 的 滤波 算法 ， 消 除 虚假 的 瞳孔 边缘 ， 保 
留 真实 的 瞳孔 边缘 。 然 后 在 真实 的 瞳孔 边缘 基础 上 ， 通 过 椭圆 拟 合 定位 瞳孔 中 心 ， 得 到 亚 像 
素 的 中 心 坐 标 。 最 后 提取 视线 特征 矢量 ,得 到 视线 参数 。 特 征 提取 过 程 示 意图 如 图 5.3 所 
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不 。 
5.1.2.1 





检测 的 区 域 ， 


( 见 图 5.4a) 与 暗 瞳 图 像 ( 见 图 5.4b) 相 减 ， 得 





输入 亮 瞳 上 暗 瞳 图 像 
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特征 向 量 校 验 ? 否 
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人 脸 定位 
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图 5.2 检测 方法 流程 


瞳孔 区 域 定位 
人 了 眼 视线 特征 参数 提取 首先 要 进行 瞳孔 区 域 定位 。 


定位 瞳孔 区 域 其 实 就 是 找到 特征 参数 








是 整个 视线 特征 参数 检测 的 前 担 和 基础 。 瞳 孔 定位 的 过 


程 : 首先 将 亮 瞳 图 像 





滤波 ， 得 到 瞳孔 区 域 。 
根据 视线 追踪 人 硬件 系统 帧 同步 卡 输出 的 信号 ， 采 用 单片机 系统 控制 光源 ， 使 之 交替 亮 





省， 产生 亮 瞳 图 像 和 暗 瞳 图 像 隔 帧 交替 出 现 的 视频 序列 。 


到 差分 图 像 ( 见 图 5. 4c), 





Wm] PH 





然后 对 差分 图 像 





对 相 邻 两 帧 亮 暗暗 图 像 进行 差分 即 


可 得 到 差分 图 像 。 为 了 在 差分 图 像 中 找到 瞳孔 区 域 ， 经 过 大 量 的 图 像 采 集 与 分 析 实 验 可 以 得 


到 如 下 规律 : 
1) 暗 瞳 区 域 的 灰 


度 值 个 体 差 异 很 小 ， 


是 一 个 比较 稳定 的 瞳孔 特征 ; 








2) 亮 瞳 区 域 的 灰 度 值 个 体 差异 较 大 ， 但 其 与 暗 瞳 区 域 的 灰 度 差 值 在 光源 固定 的 前 提 
下 ， 不 会 小 于 一 个 固定 的 半 值 ; 
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3) 在 光源 固定 的 前 提 下 ， 尽管 角膜 
反射 区 域 的 大 小 个 体 差异 较 大 ,但 角膜 反 
射 区 域 的 灰 度 值 个 体 差异 很 小 ; 

4) 在 室内 使 用 的 前 提 下 ， 室 内 照明 
亮度 的 变化 对 亮 瞳 区 域 的 灰 度 值 和 脸 部 其 
他 区 域 的 灰 度 值 有 影响 ， 但 对 暗 瞳 区 域 的 
灰 度 值 和 角膜 反射 区 域 的 灰 度 值 几 乎 没有 
影响 。 

经 过 对 50 位 以 上 的 使 用 者 进行 的 眼 
睛 特征 检测 ， 其 亮 瞳 、 暗 瞳 和 角膜 反射 的 
灰 度 值 如 图 5.5 所 示 。 另 外 ， 也 对 100 位 
和 150 位 使 用 者 分 别 进行 了 统计 ， 发 现 统 
计数 据 分 布 特点 与 50 位 使 用 者 的 数据 分 
布 基本 相同 ， 上 下 限 一 致 。 其 原因 是 本 节 
采用 主动 近 红 外 光源 进行 照明 ， 并 且 加 了 
对 应 波长 的 滤 光 片 ， 使 拍摄 的 人 脸 图 像 受 
光照 影响 很 小 ， 图 像 灰 度 稳定 。 

可 以 根据 亮 瞳 图 像 、 暗 瞳 图 像 、 差 分 
图 像 3 幅 图 像 中 瞳孔 和 角膜 反射 特征 的 先 
验 知识 ， 对 差分 图 像 进行 滤波 处 理 ， 从 而 
得 到 瞳孔 区 域 。 根 据 上 述 的 实验 规律 ， 可 
以 发 现 瞳 孔 区 域 主要 有 以 下 3 个 特征 : 

1) 暗 瞳 很 暗 ， 像 素 的 灰 度 接近 于 0。 
暗暗 现象 是 由 于 瞳孔 与 光源 的 特定 位 置 造 
成 的 ， 其 他 脸 部 区 域 在 红外 光源 照射 下 都 
没有 这 样 低 的 灰 度 值 ， 即 使 是 最 暗 的 眉毛 
和 鼻孔 。 由 于 对 红外 光线 有 漫 反 射 ， 所 以 
其 灰 度 也 通常 不 为 0。 

2) 亮 暗 瞳 区 域 具 有 明显 的 较 大 的 灰 
度 差 ， 这 是 其 他 区 域 所 不 具备 的 特征 ， 也 
是 亮 暗 瞳 差 分 方案 定位 瞳孔 的 主要 依据 。 

3) 瞳孔 区 域 附近 必然 有 角膜 反射 ， 
这 也 是 基于 红外 光源 帮助 定位 瞳孔 的 原因 


Y 


之 一 。 














边缘 检测 











图 5.3 眼睛 特征 








FE 提取 过 程 示 意图 


因此 可 以 依据 上 述 瞳孔 区 域 特征 来 进行 瞳孔 区 域 定位 ， 即 在 可 能 的 角膜 反射 区 域 附近 搜 
索 暗 瞳 很 暗 但 亮 暗 瞳 灰 度 差 较 大 的 瞳孔 区 域 。 由 于 角膜 反射 区 域 的 特征 是 “突变 的 亮点 ”， 
即 呈 现 亮度 很 高 、 梯 度 很 大 的 区 域 。 所 以 在 暗 瞳 图 像 中 ， 从 灰 度 和 梯度 两 个 方面 即 可 以 判断 











出 可 能 的 角膜 反射 区 域 。 


在 初步 判定 瞳孔 区 域 后 ， 还 需要 精确 定位 瞳孔 。 由 于 瞳孔 区 域内 亮 瞳 孔 的 灰 度 值 不 是 均 
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a) 亮 瞳 图 像 b) 暗暗 图 像 


c) 差分 图 像 


图 5.4 亮 瞳 、 暗 瞳 和 差分 图 像 
一 上 一 亮 瞳 一 e 一 暗 瞳 一 人 一 角膜 反射 






































































































































使 用 者 





图 5.5 亮 瞳 、 暗 瞳 和 角膜 反射 灰 度 值 的 个 体 差 异 
^j—3 (1 个 使 用 者 的 实验 数据 如 图 5.6 所 示 ) ， 所 以 使 用 单一 的 装 值 不 能 有 效 识 别 整个 
瞳孔 区 域 。 因 此 ， 我 们 采用 双 国 值 加 区 域 连 通 的 两 步 方法 来 进行 瞳孔 区 域 判 断 。 
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Kd 5.6 瞳孔 区 域内 亮 瞳 的 灰 度 值 分 布 
在 定位 时 ， 首 先 识 别 具 有 较 强 亮 暗 瞳 特征 的 像素 点 。 在 差分 图 像 中 ， 同 时 满足 暗 瞳 像素 

灰 度 天 ;小 于 暗 瞳 灰 度 闽 值 T, 且 差 分 图 像 像素 灰 度 (05 — 055). 大 于 差分 图 像 瞳 孔 灰 度 严 阔 值 
T, 两 个 条 件 的 像素 (i, D 的 集合 ， 即 构成 差分 图 像 中 判定 出 的 瞳孔 区 域 R,。 这 样 在 差分 
图 像 中 ， 同 时 满足 暗 瞳 像素 灰 度 廊 小 于 暗 瞳 灰 度 阔 值 如 且 差 分 图 像 像素 灰 度 (05; - 05) 大 于 
差分 图 像 瞳孔 灰 度 宽阔 值 T, 两 个 条 件 的 像素 (i, D) 的 集合 ， 即 构成 差分 图 像 中 可 能 的 瞳 
和 孔 区 域 R,。 容 易 知道 ，R, CR,。 接 下 来 ,在 R, P1828 5 R 连通 的 像素 。 对 于 R, 中 的 像素 
(G, j), WREE R 中 的 像素 (p, q) 与 其 相 邻 ， 则 将 这 些 像素 与 R 一 起 加 入 规则 滤波 后 
的 差分 图 像 有 瞳孔 区 域 R;。 即 把 那些 与 强 亮 暗 瞳 特征 点 连通 的 较 弱 特征 点 也 作为 瞳孔 区 域 像 
素 ， 将 迭代 搜索 到 的 R 附近 属于 R, 的 像素 加 入 R, EER SX, HJ 

R,-R, 

搜索 


R,-R,U lap 















































(ij) e R, A (3(p,g)) | 
((p,g) € Rs ^ | G4) - Qua) ll s1) 





直到 R, 收敛 

在 以 上 基于 规则 的 滤波 基础 上 ， 对 差分 图 像 做 进一步 几何 滤波 来 得 到 瞳孔 区 域 。 在 有 些 
视线 追踪 参考 文献 [4, 5] 中 ， 先 通过 对 连通 区 域 的 分 析 得 到 所 有 的 团 块 集合 ， 然 后 根据 
训练 好 的 支持 矢量 机 (SVM) 来 进行 瞳孔 的 识别 。 参 考 文献 [4, 5] 采集 若干 人 眼 的 样本 ， 
经 过 剪 切 、 旋 转 、 尺 度 归 一 化 等 步骤 ， 得 到 归 一 化 的 人 眼 训 练 样本 。 男 外 ， 采 集 略 干 非 人 眼 
样本 ,与 人 眼 样 本 一 起 构成 训练 支持 矢量 机 所 需 的 正 样本 和 人 负 样 本 。 然 后 训练 支持 矢量 机 
(SVM) 得 到 分 类 器 ， 为 了 提高 分 类 融 的 分 类 效果 ， 要 对 训练 好 的 支持 矢量 机 分 类 带 进 行 校 
正 。 用 妃 外 采集 的 若干 人 上 腿 样本 和 非 人 眼 样本 ， 测 试 分 类 器 ， 分 类 结果 正确 的 样本 丢弃 ， 分 
类 结果 错误 的 样本 加 入 训练 样本 重新 训练 分 类 器 。 此 过 程 可 以 迭代 ， 直 至 所 有 测试 样本 都 分 
类 正确 。 

而 这 里 经 过 上 述 的 基于 规则 的 滤波 已 经 过 滤 了 多 数 的 干扰 点 ， 在 连通 性 分 析 之 后 ， 再 进 
行 几何 滤波 ， 就 可 以 满足 定位 瞳孔 的 要 求 了 ， 从 而 避免 了 文 持 矢量 机 的 训练 过 程 和 识别 误 
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差 。 将 面积 、 宽 度 、 高 度 、 宽 高 比 满足 条 件 的 团 块 判断 为 瞳孔 ， 如 图 5.7 所 示 。 滤 波 后 的 瞳 
了 筷 区 域 为 B。 
搜索 眼睛 区 域 后 ， 再 校 验 眼 睛 区 域 的 
合理 性 。 如 果 团 块 集合 B 中 团 块 数量 | BI 
=2， 也 就 是 正好 得 到 左右 2 个 瞳孔 区 域 ， 
即 数量 满足 条 件 ， 则 认为 定位 是 正确 的 。 
如 果 不 满足 条 件 ， 则 调整 差分 图 像 瞳孔 灰 
RE BE T, 和 差分 图 像 瞳 孔 灰 度 宽阔 值 
多 ， 再 次 进行 规则 滤波 和 几何 滤波 。 当 得 到 
的 瞳孔 区 域 多 于 两 个 ， BIBI >2 时 ， 则 
说 明 对 于 这 个 使 用 者 来 说 ， 差 分 图 像 瞳孔 
国 值 设置 过 低 ,“ 差 分 出 了 ”一 些 伪 瞳 孔 区 T 
域 。 此 时 , Ta te m 25r LR BEL BUR. T, , 图 5.7 滤波 后 的 瞳孔 区 域 
及 ， 要 再 次 定位 。 相 反 地 ， 当 得 到 的 瞳孔 区 
域 少 于 两 个 ， 即 1 BI <2 时 ， 则 说 明 对 于 这 个 使 用 者 来 说 ， 差 分 图 像 瞳 孔 阔 值 设置 过 高 ， 
“差分 掉 了 ”真正 的 瞳孔 区 域 。 此 时 ， 需 要 降低 差分 图 像 瞳 孔 阔 值 7,、7T,， 要 再 次 定位 。 循 
环 这 个 过 程 就 可 以 搜索 到 最 符合 瞳孔 特点 的 两 个 区 域 作 为 左右 瞳孔 区 域 。 当 重复 滤波 次 数 大 
于 3 时 ， 则 返回 而 不 再 进行 之 后 的 处 理 。 
如 果 数 量 条 件 满足 ， 则 继续 判断 左右 瞳孔 距离 | b, — 5, || 是否 在 瞳孔 距离 的 下 阔 值 与 瞳 
孔 距 离 的 上 浆 值 之 间 ， 大 不 满足 ， 则 返回 而 不 再 进行 之 后 的 处 理 。 
在 确定 瞳孔 区 域 后 ， 还 需要 消除 瞳孔 运动 对 差分 图 像 瞳孔 区 域 的 影响 。 瞳 和 孔 运 动 会 造成 
亮 暗 瞳 图 像 瞳孔 区 域 不 完全 重合 ， 使 得 差分 图 像 瞳孔 区 域 不 完整 。 这 是 造成 运动 瞳孔 定位 误 
差 的 主要 因素 。 这 里 ， 可 通过 迭代 扩展 的 方式 还 原 运 动 瞳孔 区 域 ， 其 规则 如 下 : 
R,-B 
搜索 
R, =R U| (Gij) I(E (p,4)) (p,qg) eR ABT, | Gu) - (Qs | 201 
直到 R, 收敛 
对 得 到 的 瞳孔 区 域 B 进行 扩展 ， 在 与 B 边界 相 邻 的 像素 中 ， 迄 代 搜 索 暗 瞳 像素 灰 度 甩 
ANT Bii Jc RE BH Et T, 的 像素 ， 并 将 其 加 入 扩展 后 的 瞳孔 区 域 Ri|， 直 至 R 收敛 。 至 此 ， 即 
得 到 精确 的 瞳孔 区 域 。 
5.1.2.2 角膜 反射 区 域 及 瞳孔 中 心 定 位 
视线 参数 检测 需 定 位 瞳孔 中 心 和 角膜 反射 中 心 ， 检 测 到 瞳孔 区 域 后 ， 还 需 分 割 角膜 反射 
点 。 在 差分 图 像 检测 到 瞳孔 区 域 后 ， 可 以 用 暗 瞳 图 像 确 定 对 应 的 瞳孔 区 域 ， 在 瞳孔 区 域 尺 ， 
附近 搜索 角膜 反射 。 在 R, 附近 小 于 距离 阔 值 的 像素 集合 中 ， 搜 索 到 的 满足 灰 度 五 大 于 角膜 
反射 灰 度 阔 值 条 件 的 像素 ， 作 为 初步 判定 的 角膜 反射 区 域 R; 的 像素 。 由 于 外 部 光源 有 时 会 
在 瞳孔 附近 产生 其 他 一 些 亮 斑 ， 因 此 还 需要 对 R, 进行 连通 性 分 析 ， 排 除 干扰 。 最 终 ， 将 找 
到 的 角膜 反射 特征 一 一 面积 、 宽 高 比 ， 满 足 条 件 的 团 块 判 断 为 角膜 反射 区 域 。 角 膜 反射 区 域 
B „WE 5. 8a 所 示 。 
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定位 角膜 反射 区 域 中 心 后 ， 还 要 计算 角膜 反射 区 域 中 心 。 求 角膜 反射 中 心 的 方法 一 般 有 
两 种 : 一 种 是 先 求 角膜 反射 的 轮廓 ， 然 后 对 角膜 反射 边缘 进行 椭圆 拟 合 ， 再 通过 拟 合 椭圆 的 
中 心 估 计 角 膜 反射 区 域 中 心 ; 另 一 种 是 通过 质心 来 估计 角膜 反射 区 域 中 心 。 在 相关 视线 追踪 
参考 文献 [7] 中 ， 首 先 对 角膜 反射 区 域 进 行 二 值 分 割 ， 然 后 在 二 值 图 像 中 求 角膜 反射 区 域 
的 质心 ， 以 质心 作为 角膜 反射 区 域 的 中 心 。 妃 外， 参考 文献 [7] 中 通过 500 个 样本 对 两 种 
方法 的 效果 进行 了 比较 ， 结 果 是 两 种 方法 精度 相当 。 由 于 角膜 反射 区 域 边界 的 不 确定 性 ， " 
fs E E — EL TETSEOR HIS IS fEDGE TUS P f RS I8] KRE ERA CK RES], RANEE 
下 两 种 方法 来 减 小 角膜 反射 区 域 中 心 的 估计 误差 。 

(1) 方法 一 

采用 多 个 国 值 多 分别 分 割 出 多 个 角膜 反射 区 域 ， 然 后 将 对 各 个 区 域 分 别 求 质心 后 的 平均 
结果 作为 角膜 反射 区 域 中 心 。 

(2) 方法 二 

分 割 出 多 个 角膜 反射 区 域 后 ， 不 在 二 值 图 像 中 ， 而 是 在 暗 瞳 图 像 中 求 质心 。 这 是 因为 角 
膜 反 射 区 域 中 心 是 角膜 反射 区 域 中 最 亮 的 部 分 ， 越 往 边界 ， 亮 度 越 低 ， 这 样 就 可 以 减 小 模糊 
的 边界 区 域 对 质心 定位 的 影响 。 其 具体 方法 如 下 : 

Hoe M 

b"cbic.-.cp (5.2) 

然后 ， 对 各 个 区 域 分 别 求 质心 ， 并 将 各 个 区 域 质 心 的 平均 值 作为 角膜 反射 区 域 中 心 ， 求 

取 质 心 公式 如 下 : 


























2. lj 
ww 
Y (i) €b} 
Ys kal > I; 
scd o diga 
i = = (5.3) 
之 Ij 
"E pui 
5 Gj) Ebh 
> 之 l; 
"NE HN Gj) ebk” 
六 = n (5.4) 


XB. GL. 及) AP» KER br ByNGD (C8, P) 为 最 后 佑 计 的 角膜 反射 区 域 中 心 〈 见 图 
5.8b) 。 

在 确定 瞳孔 区 域 后 ， 再 检测 差分 图 像 瞳孔 区 域 的 边缘 。 对 R, 进行 二 值 图 像 边 缘 检 测 。 
对 于 瞳孔 区 域 中 的 像素 ， 如 果 在 其 相 邻 的 像素 中 存在 不 属于 瞳孔 的 像素 ， 则 为 边缘 像素 ，R。 
为 瞳孔 边缘 检测 的 结果 ( 见 图 5. 8c)。 

角膜 反射 是 造成 瞳孔 轮廓 改变 的 主要 因素 ， 是 影响 瞳孔 中 心 定 位 精度 的 主要 因素 之 一 。 
参考 文献 [8] 中 ， 通 过 初次 椭圆 拟 合 得 到 的 椭圆 边界 对 原始 边缘 进行 滤波 ， 按 一 定 比 例 过 
滤 掉 距离 椭圆 边界 比较 远 的 原始 边缘 。 通 过 这 个 迭代 过 程 ， 就 可 以 去 除 部 分 远离 椭圆 边界 的 
干扰 边缘 ， 可 以 在 一 部 分 情况 下 减 小 角膜 反射 对 瞳孔 椭圆 拟 合 的 影响 ， 但 是 该 方法 存在 以 下 
几 个 问题 : 

1) 当 角 膜 反 射 在 瞳孔 内 部 而 不 与 瞳孔 轮廓 相交 的 情况 下 ， 会 造成 错误 滤波 ， 进 而 造成 
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瞳孔 中 心 定位 的 不 准确 ; 

2) 有 些 使 用 者 的 角膜 反射 较 大 ， 而 瞳孔 较 小 ， 这 种 情况 下 该 滤波 算法 不 能 有 效 地 消除 
由 角膜 反射 产生 的 边缘 ; 

3) 迭代 方法 效率 较 低 ， 会 增加 处 理 时 间 。 

为 了 有 效 消除 角膜 反射 对 瞳孔 椭圆 拟 合 的 影响 ， 首 先 应 判断 角膜 反射 与 瞳孔 椭圆 的 相对 
位 置 。 当 角膜 反射 与 瞳孔 椭圆 相 离 时 ， 和 角膜 反射 对 瞳孔 轮廓 无 影响 ， 不 需要 进行 滤波 。 当 角 
膜 反射 与 瞳孔 椭圆 相交 或 包含 时 ， 角 膜 反射 改变 瞳孔 轮廓 ， 需 要 进行 滤波 。 理 想 的 实心 椭圆 
区 域 是 一 个 有 界 严 凸 集 ， 其 边界 是 一 个 具有 严格 凸 性 的 全 局 闭 凸 曲线 。 即 使 存在 采样 误差 和 
离散 误差 ， 图 像 中 瞳孔 的 边界 也 应 该 是 一 个 全 局 闭 凸 曲线 。 正 是 由 于 角膜 反射 的 存在 ， 致 使 
对 瞳孔 边界 产生 了 较 大 的 影响 。 通 过 对 瞳孔 边界 求 凸 壳 来 还 原 瞳 孔 区 域 ， 然 后 用 还 原 后 的 瞳 
孔 区 域 去 判断 与 角膜 反射 的 位 置 关 系 。 我 们 采用 一 种 简单 快速 的 凸 壳 检测 算法 进行 检测 ， 其 
时 间 复 杂 度 为 1 lg, 





R, = convex hull( R,) (5.5) 
AF, R, 为 R, 的 凸 壳 ; convex hull () 为 凸 壳 检 测 函 数 。 
在 此 基础 上 ,采用 了 一 种 基于 径 向 距离 的 瞳孔 边缘 专用 滤波 算法 一 一 RDPEF 算法 。 其 
规则 如 下 : 
如 果 R.Ob 0 





JeF uy x. | 
R; = AGI GJ) € R, A(V(p,g)|i-? p-r | 
Wes -= SUE | (p,g) - (2,7) | 
否则 
R, = R, 

首先 ， 判 断 通过 凸 壳 算法 ( 凸 壳 是 指 包含 一 个 平面 点 集 的 最 小 凸 区 域 还 原 后 的 瞳孔 
KER, 与 角膜 反射 区 域 g 的 位 置 关 系 。 当 角膜 反射 区 域 与 瞳孔 椭圆 相 离 时 ， 则 不 进行 滤 
波 。 当 角膜 反射 区 域 bw 与 瞳孔 椭圆 R 相交 或 包含 时 ， 则 进行 滤波 。 

在 瞳孔 边缘 R, 中 ， 以 角膜 反射 中 心 (0, p) 为 圆心 ， 在 每 一 个 半径 方向 上 ， 如 果 存 在 
两 点 (i, D 和 (p, q), H. G, D 到 角膜 反射 区 域 中 心 (£8, p) 的 直线 的 斜率 (j-j*) 7 
(G-£) 5 (p, 9) 到 角膜 反射 区 中 心 (£7, P) 的 直线 的 斜率 (9 -= 六) / (p-v) 相同 。 
即 (i, D M (p, q) 在 同一 半径 方向 上 上， 那么 远 端 边缘 点 为 瞳孔 形成 的 边缘 ， 近 端 边 缘 点 
为 角膜 反射 形成 的 边缘 。 过 滤 掉 角膜 反射 形成 的 边缘 后 的 瞳孔 边缘 如 图 5. 8d 所 示 。RDPEF 
算法 示意 图 如 图 5.9 所 示 。 

接 下 来 ， 利 用 椭圆 拟 合 来 定位 瞳孔 中 心 。 在 现 有 的 一 些 文献 资料 中 ， 参 考 文献 【10 ] 
中 采用 在 亮 瞳 图 像 中 利用 椭圆 拟 合 来 定位 瞳孔 中 心 ， 参 考 文献 [11] 中 采用 在 暗 瞳 图 像 中 
利用 椭圆 拟 合 来 定位 瞳孔 中 心 ， 参 考 文献 [12] 中 采用 等 照度 线 的 方法 定位 瞳孔 中 心 。 等 
照度 线 是 图 像 中 亮度 相等 的 点 连 线 。 等 照度 线 互相 不 交叉 ， 可 以 用 等 照度 线 分 割 瞳孔 区 域 。 

本 节 的 瞳孔 检测 在 差分 图 像 中 用 椭圆 拟 合 来 定位 瞳孔 中 心 ， 使 噪声 边缘 更 少 。 具 体 实 施 
采用 参考 文献 [13] 中 的 最 小 二 乘 非 迭代 椭圆 拟 合算 法 。 其 椭圆 拟 合 过 程 只 需要 6 个 以 上 
的 边缘 点 就 可 以 对 其 进行 拟 合 。 边 缘 点 不 需要 禾 盖 椭圆 的 各 个 象限 。 此 方法 适合 滤波 以 后 的 
瞳孔 边缘 。 椭 圆 拟 合 的 另 一 个 好 处 是 可 以 得 到 亚 像素 的 中 心 坐标 5 。 拟 合 得 到 的 瞳孔 椭圆 
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如 图 5. 8e Br, HELP AAT 5. 8b 所 示 。 视 线 特征 矢量 元 为 


L, = (s, Ay, ae] (5.6) 


minor 


XB, (Ax, Ay) 为 瞳孔 中 心 到 角膜 反射 的 矢量 像素 ，(Ax，Ay) = (I, P) - (i -P)s 
Qajoe/ Qnminor 为 瞳孔 椭圆 长 短 轴 的 比 ; 9 为 瞳孔 椭圆 长 轴 与 垂直 方向 的 夹 角 ; G, P) 为 角膜 反 
射 中 心 在 图 像 中 的 位 置 (像素 )。 使 用 者 1 的 部 分 数据 见 表 5. 1， 其 中 工 , 为 注视 屏幕 像素 点 
为 (xg, yo) 时 对 应 的 特征 矢量 。 

R51 使 用 者 1 的 部 分 数据 



































特征 矢量 L/R BERE (xo, yo) /像素 
(4.870, 11. 207, 1.213, 117. 552, 287. 637 , 437. 932) (88, 86) 
( —0. 880, 11.357, 1. 058, 65. 256, 231. 91, 443. 770) (726, 34) 
( —6.269, 10. 866, 1. 139, 54. 755, 185. 966, 453. 136) (1216, 75) 
(5.159, 7. 824, 1.057, 147. 106, 213. 819, 459. 712) (42, 469) 
( —0. 901, 7. 718, 1. 066, 12. 618, 199. 004, 467. 304) (707, 387) 
( 27.231, 7. 710, 1. 142, 42. 529, 177. 404 , 471.379) (1205, 384) 
(5. 063 , 3. 783, 1. 182, 256. 705 , 208. 628 , 475. 365) (26, 860) 
( 0.979, 3.287, 1. 140, 3. 635, 196. 633, 477. 365) (581, 800) 
( —6. 922, 3.617, 1. 104, 13. 373, 173. 485 , 485. 351) (1201, 874) 











d) 瞳孔 边缘 ( 滤波 后 ) e) 拟 合 得 到 的 瞳孔 椭圆 f£) 检测 结果 


图 5.8 人 了 眼 特征 提取 过 程 
接 下 来 ， 校 验 瞳孔 中 心 到 角膜 反射 区 域 中 心 矢量 的 合理 性 。 校 验 时 ， 首 先 判断 特征 矢量 
KJ || G^,J^) -G -ji 是否 满足 条 件 。 如 果 不 满足 条 件 ， 则 返回 ， 不 进行 下 面 的 处 理 ; 
如 果 满 足 条 件 ， 则 用 本 次 使 用 者 实际 定位 后 的 瞳孔 灰 度 去 设 定 差 分 图 像 瞳孔 灰 度 阔 值 T 
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a) 瞳孔 与 角膜 反射 相交 情况 的 瞳孔 边缘 滤波 示意 图 











d) 瞳孔 与 角膜 反射 包含 情况 的 瞳孔 边缘 滤波 图 
图 5.9 边缘 滤波 RDPEF 算法 示意 图 
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e) 瞳孔 与 角膜 反射 相 离 情况 的 瞳孔 边缘 滤波 示意 图 





f) 瞳孔 与 角膜 反射 相 离 情况 的 瞳孔 边缘 滤波 图 


图 5.9 ( 续 ) 
7,， 最 后 的 检测 结果 如 图 5. 8f 所 示 。 

以 上 参数 提取 过 程 是 在 相 邻 两 由 中 完成 的 ， 尽 管 在 接 下 来 的 视频 序列 中 可 以 重复 进行 以 
上 的 参数 提取 过 程 ， 以 得 到 实时 的 视线 参数 。 但 是 这 样 做 有 下 面 两 个 问题 . 

1) 每 次 都 要 在 整 幅 图 像 中 搜索 瞳孔， 效率 低 、 时 间 长 ， 影 响 系统 的 实时 性 ，; 

2) 由 于 没有 使 用 瞳孔 的 历史 信息 ， 所 以 使 瞳孔 定位 的 鲁 棒 性 差 ， 而 且 对 外 部 光照 、 眼 
青 角 度 、 上 刀 眼 等 情况 的 适应 性 差 ， 不 能 满足 系统 的 鲁 棒 性 要 求 。 

在 1-1 时 刻 成 功 地 进行 特征 参数 提取 后 ， 在 t 时刻 先 在 1-1 时 刻 确定 的 瞳孔 位 置 附近 
进行 特征 参数 提取 。 如 果 不 成 功 ， 则 加 大 搜索 范围 。 设 置 优先 搜索 范围 可 以 加 快 搜索 速度 ， 
减少 平均 特征 参数 提取 的 时 间 。 这 是 因为 人 在 正常 注视 屏幕 信息 的 情况 下 ， 眼 睛 运动 幅度 较 
小 ， 绝 大 多 数 的 情况 下 都 可 以 在 上 一 时 刻 眼 睛 位 置 的 附近 找到 这 一 时 刻 的 眼睛 位 置 。 即 遵循 
“照顾 眼睛 绝 大 多 数 运 动情 况 ” 的 原则 ， 对 于 个 别 的 较 大 范围 运动 ， 采 取 依 次 放大 范围 进行 
搜索 的 方式 ， 这 样 可 以 大 大 提高 平均 搜索 效率 。 
5.1.2.3 人 脸 定位 

为 了 在 下 一 帧 搜索 中 更 有 效 地 找到 双眼 位 置 ， 需 要 定位 人 脸 的 位 置 ， 下 一 帧 搜索 时 只 在 
人 脸 中 的 可 能 区 域内 搜索 眼睛 。 

根据 双眼 位 置 确定 人 脸 位 置 ， 左 眼 坐 标记 为 M= (xi, y), RAO NS (xy, 
yn ) ， 两 眼 之 间距 离 记 为 2L， 人 脸 位 置 为 PjjFwFisfi，( 见 图 5.10)。 其 推导 过 程 如 下 : 
Yar. 














, 连接 FrN, 作 NH, L Fr HH, 则 








= mo uo TREE: de 
如 图 5.10 所 示 ， 其 中 cosa jp, > SMa 2L 


Z FQ,NH, 2B 245? -a, Jill 


J2 är — XL = Yr + YL 
2 2L 


B 


sinB = sin(45? ~ a) = E (5.7) 





(cosa — sina) = 
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Fir™@ y1) 






Err Y 3) 





Fyg7Gr ay 4) 





Hs - 
a) 人 脸 区 域 示意 图 b) 人 脸 区 域 图 像 
图 5. 10 人 脸 区 域 
则 
， SIREN 42 Xn XL- Yn HYL 
sin - 
JL 2 2L 

整理 得 


_ 3yr -XR t X, 一 
Jz = 2 





同 理 可 得 ， 由 
V2 Xg — Xy + Yr -YL 


E ! id 





cosB = cos(45? — a) = (cosa + sina) = 





2 2L 
则 
cosa UA IR o2 Xn — Xp t Yn 7 Yn 
JL 2 2L 
整理 得 
3x, -YL * Yn -XL 
X4 = 





其 他 点 类 似 可 得 ， 整 理 4 点 坐标 为 


Jom pum m Hum 
LT 2 ; 2 








F | eA 
RT 2 3 2 





F. =- = + 3yr +3xn — 3x, 3y, — 3yr + 3x =a) 
RB 2 ; 2 





3y, — 3yr — xà + 3x, 3x4 — Yr — 3x, + 3y, 
Fis - 2 $ 2 





(5. 8) 


(5.9) 


(5. 


10) 


.11) 


.12) 


.13) 


.14) 


.15) 


.16) 
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5.1.3 实验 结果 


由 于 特征 提取 是 视线 追踪 系统 的 共性 问题 ， 即 使 是 窄 视野 摄像 机 系统 ， 也 要 求 在 不 同 的 
头 部 位 置 都 能 有 效 地 进行 眼睛 特征 参数 和 视线 参数 的 检测 。 为 了 验证 上 述 特征 提取 方法 的 效 
果 ， 进 行 了 如 下 实验 。 首 先 ， 对 50 位 使 用 者 的 数据 进行 统计 得 到 阔 值 ， 然 后 ， 对 另外 150 
位 使 用 者 进行 了 实验 。 实 验 过 程 在 室内 进行 ， 但 不 同 使 用 者 测试 的 环境 不 相同 ， 包 括 白 天 、 
晚上 ， 晴 天 、 阴 天 ， 室 内 照明 开 、 关 等 各 种 室内 光线 情况 。 图 5. 11 所 示 为 使 用 者 1、2 、3、 
4 在 各 种 头 部 位 置 下 的 检测 结果 。 从 图 5. 11 可 以 看 到 ， 上 述 方法 也 能 有 效 地 提取 视线 特征 
参数 。 与 其 他 用 于 视线 追踪 系统 的 眼睛 检测 方法 的 比较 结果 见 表 5.2， 表 中 列 出 的 是 几 种 方 
法 的 成 功率 。 由 表 5.2 可 以 看 到 ， 这 种 方法 的 检测 效果 好 于 参考 文献 [5] 中 的 组 合 亮 暗 瞳 
差分 方法 与 SVM 方法 ， 也 好 于 参考 文献 [15] 中 的 组 合 亮 暗 瞳 差分 方法 与 Haar 分 类 器 方 
法 。 这 两 种 方法 是 在 亮 暗 瞳 差分 方案 基础 上 ， 加 上 分 类 器 对 眼睛 进行 定位 。 由 于 训练 分 类 器 
用 的 是 图 像 的 原始 像素 信息 ， 是 现 有 方法 在 瞳孔 定位 上 的 应 用 ， 没 有 充分 考虑 瞳孔 的 特点 ， 
所 以 难免 有 一 定 的 漏 检 和 错 检 。 这 也 是 因为 瞳孔 区 域 的 图 像 排他 性 较 差 ， 很 容易 在 图 像 的 其 
他 位 置 上 有 类 似 瞳 孔 像 素 的 区 域 。 本 节 所 述 的 方法 在 亮 暗 瞳 差 分 方案 的 基础 上 ，“ 基 于 规 
则 ”进行 瞳孔 定位 ， 用 的 信息 是 处 理 后 的 一 系列 “特征 ”， 从 而 降低 了 对 样本 的 依赖 性 ， 因 
为 这 些 特征 要 比 图 像 的 原始 像素 信息 具有 更 好 的 稳定 性 和 排他 性 。 图 5. 12 所 示 为 不 同 使 用 
者 眼 部 特征 参数 提取 结果 ， 可 以 看 出 ， 本 节 所 述 的 方法 可 以 有 效 地 提取 不 同 使 用 者 的 眼睛 特 








图 5.11 不 同 头 部 位 置 的 参数 提取 













































Ba Pis 





图 5.12 了 眼 部 特征 参数 提取 结果 
表 5.2 有 眼睛 检测 方法 比较 (成 功率 ) 








E 参考 文献 [5] 所 述 的 方法 参考 文献 [15] 所 述 的 方法 本 节 所 述 的 方法 





3200 帧 91. 896 93. 696 96. 996 
在 北京 科技 大 学 开发 的 单 摄像 机 双环 形 视线 追踪 系统 中 ， 对 不 同 使 用 者 的 视线 估计 效果 
进行 了 测试 ， 部 分 结果 见 表 $. 3 ， 水 平方 向 的 平均 精度 为 1. 5 左右， 坚 直方 向 的 平均 精度 为 
1.9° 左 右 。 图 5. 13 所 示 为 使 用 者 3 的 视线 估计 结 






































































































































py 
1024 
A + 估计 视线 + 真实 视线 
十 J t 
s9 ta dp + att 
十 t : 
n m" 
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640- 
+ - 
it 十 
5 Wt um ES 
p 十 T 
384- 
256r 
十 十 十 十 E 
128 eT t quet 
T pt TU 
十 十 
| | | | | | 1 | | € 
0 128 256 384 512 040 768 896 1024 1152 1280 x 
图 5.13 估计 视线 与 真实 视线 比较 
R53 不 同 使 用 者 的 视线 估计 结果 
使 用 者 水 平方 向 精度 A/mm, o7 (°) 竖 直 方向 精度 A/mm, e7 (°) 
1 12. 00 € 7. 54, 0.86 +0. 54 14.24 +8.65, 1.02 +0. 62 
2 26.11 +10. 19, 1. 87 x0. 73 32.83 + 12.42, 2.35 +0. 89 
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(X) 
使 用 者 水 平方 向 精度 A/mm, o7 (°) 竖 直 方向 精度 A/mm, o7 (°) 
3 26.81 +5.58, 1.92 +0.40 33. 80 +6.28, 2.42 +0.45 
4 16. 89 +6.42, 1.21 +0.46 23.46 x 7.40, 1.68 +0. 53 
5 18.43 x4. 18, 1.32 +0.30 24.02 +5.72, 1.72 +0.41 
6 28.49 +9.21, 2.04 «0. 66 37.44 x12. 98, 2.68 +0.93 
7 24.30 +4.74, 1.74 +0.34 26.81 +7.26, 1.92 x0. 52 








5.2. 基于 主动 红外 光源 的 宽 视 野 摄像 机 视线 参数 检测 


当 视 线 追 踪 系 统 中 的 摄像 机 为 短 焦 宽 视 野 摄 像 机 时 ， 这 种 视线 追踪 系统 允许 使 用 者 头 部 
在 一 定 范围 内 旋转 和 移动 。 由 于 头 部 在 摄像 机 摄取 的 图 像 中 只 占 一 部 分 ， 直 接 在 图 像 中 检测 
眼睛 有 很 大 难度 。 这 种 情况 下 的 视线 参数 检测 利用 了 这 样 一 个 事实 ， 即 在 摄像 机 视野 中 ， 定 
位 人 脸 要 比 定位 人 眼 容 易 。 在 一 幅 有 着 较 复杂 背景 的 人 脸 图 像 中 ， 直 接 检测 人 眼 ， 即 使 在 主 
动 红外 光源 的 亮 暗 瞳 差 分 方案 下 ， 也 具有 相当 大 的 挑战 性 。 这 种 情况 下 的 视线 参数 检测 需要 











采用 一 种 由 粗 及 精 的 平面 视线 参数 提取 策略 ， 方 法 流程 如 图 5. 14 所 示 ， 说 明 如 下 : 








输入 相 邻 
两 帧 图 像 


亮 瞳 、 瞳 瞳 
图 像 识别 ? 

























瞳孔 附近 普尔 钦 
斑 分 割 








求 质心 定位 普尔 
钦 斑 中 心 





人 眼 区 域 检测 
人 













图 像 形态 学 滤波 


瞳孔 区 域 定位 


亮 暗 瞳 差分 图 像 
瞳孔 形状 大 小 分 析 
瞳孔 目标 分 割 


瞳孔 椭圆 拟 合 及 
中 心 定位 


















平面 视线 参数 


图 5.14 平面 视线 参数 检测 流程 图 
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视线 追踪 





1) 采集 相 邻 两 帧 图 像 ， 判 断 哪 一 帧 是 亮 瞳 图 像 ， 哪 一 帧 是 暗 瞳 图 像 。 亮 暗暗 图 像 相 减 


获得 差分 图 像 。 差 分 图 像 中 瞳孔 


目标 突出 。 


2) ERREZE, XH AdaBoost 算法 进行 人 脸 检测 ， 定 位 人 脸 区 域 。 


3) 在 定位 的 人 脸 区 域 结合 人 脸 五 官 分 布 的 先 验 知识 ， 继 续 采 用 AdaBoost 算法 定位 眼睛 


区 域 。 


4) 对 差分 图 像 进行 形态 学 滤波 ， 滤 除 杂 散 干 扰 并 对 瞳孔 目标 修 形 。 
5) 根据 暗 瞳 图 像 上 检测 标注 的 眼睛 区 域 ， 在 差分 图 像 的 相应 区 域 采 用 投影 法 定位 瞳孔 


区 域 。 








6) 对 瞳孔 区 域 , 采用 形态 分 析 方 法 排出 伪 瞳 孔 目 标 ， 确定 瞳 了 筷 目 标 。 
7) 对 瞳孔 目标 进行 边缘 检测 、 边 界 拟 合 ， 进 而 计算 瞳孔 中 心 图 像 坐 标 。 
8) 在 暗 瞳 图 像 上 的 瞳孔 附近 检测 光源 的 角膜 反射 〈 善 尔 钦 斑 ) ， 并 根据 质心 计算 普尔 


钦 班 中 心 。 


9) 根据 检测 到 的 瞳孔 中 心 和 普尔 钦 斑 中 心 ， 计 算 平 面 视线 参数 。 
5.2.1 上 暗 瞳 图 像 上 基于 AdaBoost 算法 的 人 脸 检测 和 人 眼 区 域 定位 


5.2.1.1 AdaBoost 算法 人 脸 检测 方法 原理 


Adaboost 算法 根据 人 脸面 部 的 灰 度 分 布 特征 ， 选 择 使 用 了 Haar ffl 














E, Haar 特征 是 一 种 


基于 积分 图 像 的 特征 ， 主 要 在 灰 度 图 像 中 使 用 。 该 特征 计算 简单 ， 提 取 速 度 较 快 。Adaboost 
FE， 然后 通过 训练 过 程 从 中 选 出 最 优 的 Haar 特征 ， 再 将 训练 
得 到 的 Haar 特征 转换 成 弱 分 类 器 ， 最 后 将 得 到 的 弱 分 类 器 进行 优化 组 合用 于 人 脸 检 测 。 
AdaBoost 算 法 训练 流程 示意 图 如 图 5. 15 所 示 。 





算法 首先 提取 图 像 中 的 Haar 特 生 











TIENDE 





根据 矩形 特征 
形 


选择 最 优 弱 分 类 器 ， 调 
法 训练 强 分 类 器 


强 分 类 器 集 
级 联 分 类 器 


| mman |) 
J} 


成 特 


WEBE, HARME ERAN M HIA 
类 器 ， 形 成 弱 分 类 器 集 


i 

















原型 ， 计 算 和 矩形 特征 值 ， 
成 特征 集 


调用 AdaBoost 算 





补充 部 分 











补充 非 人 脸 样 本 





非 人 脸 图 片 集 




















图 5.15 AdaBoost 算法 训练 流程 示意 图 
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1， 积 分 图 像 和 Haar 特征 

(1) 积分 图 像 

积分 图 像 是 将 原 图 像 中 任意 一 点 的 左上 方 的 全 部 像素 相 加 作为 当前 点 像素 值 所 得 到 的 图 
像 。 积 分 图 像 中 每 个 点 (x, y) 的 值 为 原 图 像 中 点 (x, y) 左上 部 分 所 有 像素 值 的 累加 ， 
即 








ü(x,y) = Pon i(x',y') (5.17) 
NPF, i 为 原始 图 像 ， 站 为 积分 图 像 。 下 面 以 计算 图 5.16 所 示 D 区 域 的 像素 之 和 为 例 。 

假设 已 经 求 得 某 一 图 像 的 积分 图 像 ， 根 据 积 
分 图 像 的 特点 ， 利 用 下 式 可 以 迅速 计算 出 原 图 像 
中 忆 区 域内 的 像素 的 和 值 为 

ReetSum(D) = ii, &ii,- ii, — i, (5.18) 
F, ReetSum( D). J&Jgifs erp D 区 域内 的 像素 
BEAMER, ii, Hy, iis, ， 记 分 别 是 积分 图 像 中 点 1、 
点 2、 点 3 和 点 4 的 积分 值 。 得 到 一 幅 图 像 的 积 
分 网 只 需 对 图 像 遍 历 一 次 ， 之 后 任意 一 个 矩形 的 
特征 即 可 通过 其 4 个 顶点 在 积分 图 中 的 值 计算 出 图 5. 16， 积分 图 像 举例 
来 。 

(2) Haar 特征 

根据 积分 图 像 的 特点 ， 利 用 式 (5.18). 可 以 计算 出 任意 矩形 区 域内 像素 点 的 和 值 ， 这 
一 过 程 快 速 且 计算 时 间 固 定 。 利 用 这 一 特点 设计 出 的 Haar 特征 提取 快速 且 机 器 计算 时 间 固 
定 。 正 是 由 于 Haar 特征 提取 速度 足够 快 ， 使 得 Adaboost 算法 基本 成 为 当前 最 快 的 检测 算法 
uou 

常用 的 Haar 特征 是 根据 区 域 灰 度 对 比 的 特点 来 设计 的 。 图 5. 17 给 出 了 Viola 等 人 提出 
的 几 种 常见 的 Haar 特征 。 每 个 特征 分 为 两 个 部 分 ， 对 比 两 个 部 分 的 像素 和 值 的 大 小 ， 对 比 
的 区 域 为 如 图 5. 17 所 示 的 黑 块 和 日 块 。 


Hm m" 


图 5.17 常见 的 4 种 Haar 特征 

将 Haar 特征 这 种 反映 图 像 中 灰 度 分 布 特点 的 特性 引入 人 脸 检 测 问题 当中 ， 问 题 就 转换 
成 如 何 找到 较 好 的 Haar 特征 对 人 脸 图 像 灰 度 分 布 的 特点 进行 描述 。 

2. AdaBoost 算法 

Adaboost 算法 通过 从 大 量 的 Haar 特征 中 挑选 出 最 优 的 特征 ， 并 将 其 转换 成 对 应 的 弱 分 
类 器 进行 分 类 使 用 ， 从 而 达到 对 目标 进行 分 类 的 目的 。Adaboost 算法 的 训练 过 程 就 是 挑选 弱 
分 类 器 的 过 程 。 具 体 算法 过 程 如 下 : 

(1) 输入 为 NN 个 训练 样本 















































CGa di) LET Yn)) 
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AF, y, 取 值 0 或 1 分别 表示 反例 和 正 例 。 已 知 样本 中 有 m 个 非 人 脸 样 本 ,1 个 人 脸 样 本 。 
第 j 个 特征 生成 的 简单 分 类 器 形式 为 
1 pf; < pf, 


TRA 其 他 
AF, h, 为 简单 分 类 器 的 值 ;0 为 国 值 ; p; 为 不 等 号 的 方向 ， 只 能 取 ET; f 为 特征 值 。 
(2) 指定 循环 的 次 数 了 
这 将 决定 最 后 强 分 类 咒 中 弱 分 类 器 的 数目 。 
(3) 初始 化 权 值 
对 于 y =0, M o, 21/2m; 对 于 y 21, Bl w ; 21721, 
(4) 1=1~7， 有 





(5. 19) 





0, — 9, / 2,0,; (5.20) 
j=1 


1) 归 一 化 权 值 ; 
2) 对 于 每 个 特征 7， 训 练 一 个 分 类 器 hh， 且 该 分 类 器 仅 对 应 一 个 特征 ， 计 算 相 对 于 当前 
权 值 的 错误 率 ， 即 








e, = Yol hj(x;) - y,l (5. 21) 
3) 选择 具有 最 小 错误 率 e, 的 弱 分 类 器 h,， 并 加 入 到 强 分 类 器 中 ，; 
4) 更 新 每 个 样本 所 对 应 的 权 值 ， 有 


w 





ure muB. (5. 22) 
式 中 ， 如 果 第 ;个 样本 判断 正确 , M e; =0， 反之 则 e, 21; B, 2e/ (1 -&,)。 最 后 形成 的 强 
4) 2S 





1x 
h(x) = 1 > ah, (x) E (5.23) 
式 中 


这 里 假设 每 一 个 分 类 器 都 是 实际 有 用 的 ，e, <0.5。 也 就 是 说 ， 在 每 一 次 分 类 的 结果 中 ， 
正确 分 类 的 样本 个 数 始终 大 于 错误 分 类 的 样本 个 数 。 因 为 a,<0.5, 而 B,=e/ (1-e,), 可 
以 看 出 B, <1。 当 前 面 找 出 的 弱 分 类 器 h 对 于 本 样本 x 分 类 错误 时 ， 有 下 一 趟 的 样本 对 应 的 
BUE. c, , ,—o, B; * ANE, IIR hi 对 于 本 样本 x; 分 类 正确 时 则 w,,, ,; 减 小 ， 这 就 减 小 了 利用 
已 有 的 分 类 正确 样本 的 重要 性 ,使 下 一 个 分 类 器 分 类 性 能 更 重视 原来 分 类 错误 的 样本 ,满足 
了 提升 的 要 求 。 

3. 级 联 强 分 类 器 

通过 AdaBoost 算法 生成 了 由 重要 特征 组 成 的 强 分 类 髓 。 级 联 强 分 类 表 的 检测 示意 图 如 
图 5. 18 所 示 。 

级 联 分 类 器 要 求 各 级 强 分 类 器 检测 从 简单 到 复杂 ， 一 级 比 一 级 严格 。 这 样 才能 保证 用 最 
少 的 时 间 排 除 最 多 的 非 人 脸 信 息 。 级 联 分 类 器 的 具体 训练 算法 如 下 : 
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检测 图 像 
< 
提取 所 有 检测 子 
窗口 






































图 5.18 级 联 强 分 类 器 示意 图 


(1) 设 定 每 层 最 大 错误 率 放 每 层 最 小 通过 率 d 和 整个 检测 器 的 目标 误 报 率 FS, CÓNI 
正 样 本 集合 Pos， 以 及 负 样 本 集合 Neg。 

(2) Wb F,-1, i=1。 

(3) MF,» F, BI, A: 

1) 用 Pos 和 Neg VASE i EFREN b, MIRRE f; INT f, 通过 率 大 于 d; 

2) SF, NF; iNic-l, Neg 0; 

3) Æ Faa > F aga WA 2A BU ODE DU Sd HEN LER, CHEER RUBIA 6. Nego 

级 联 分 类 器 串 连 的 级 数 依赖 于 系统 的 错误 率 和 响应 速度 。 级 联 分 类 器 在 串联 时 采用 
“ 先 重 后 轻 ” 的 思想 。 前 面 的 几 层 强 分 类 器 通常 结构 简单 ， 一 层 通常 仅 由 一 两 个 弱 分 类 器 组 
成 。 但 这 些 结构 简单 的 强 分 类 器 可 以 在 早期 达到 近 100% 的 检测 率 ， 同 时 误 检 率 也 很 高 ， 但 
可 以 利用 它们 快速 地 筛选 兵 那 些 显然 不 是 人 脸 的 子 窗口 ， 从 而 大 大 减少 需要 后 续 处 理 的 子 窗 
口 数量 。 

总 之 ，AdaBoost 算法 人 脸 检 测 方法 是 一 种 基于 积分 图 、AdaBoost 算法 和 级 联检 测 需 的 方 
法 ， 方 法 由 三 大 部 分 : 

1) 使 用 Haar 特征 表示 人 脸 ， 使 用 “积分 图 ”实现 特征 数值 的 快速 计算 ; 

2) 使 用 AdaBoost 算法 挑选 代表 人 上 脸 的 矩形 特征 ( 弱 分 类 器 )， 按 照 加权 投 票 的 方式 将 
弱 分 类 器 构造 为 一 个 强 分 类 器 ; 

3) 将 训练 得 到 的 略 干 强 分 类 器 串联 组 成 一 个 级 联结 构 层 合 分 类 器 ， 级 联结 构 能 有 效 地 
提高 分 类 器 的 检测 速度 。 

AdaBoost 算法 将 强 分 类 器 串联 在 一 起 形成 级 联 分 类 器 ， 使 人 脸 依次 通过 分 类 器 ， 从 第 一 
层 分 类 器 出 来 的 正确 结果 触发 第 二 层 分 类 器 ， 而 从 第 二 层 出 来 的 正确 结果 将 触发 第 三 层 分 类 
器 ， 以 此 类 推 。 相 反 地 ， 从 任何 一 个 结 点 输出 的 被 否定 结果 会 使 对 这 个 子 窗 口 的 检测 立即 停 
Es 
5.2.1.2 基于 AdaBoost 算法 的 人 脸 检测 

利用 离线 训练 的 人 脸 分 类 器 在 暗 瞳 图 像 上 进行 人 脸 检测 。 检 测 流程 如 图 S. 19 所 示 。 

AdaBoost 算法 人 脸 分 类 器 由 正 样本 和 人 负 样 本 训练 而 成 ， 人 上 脸 的 正 样本 多 是 正面 标准 人 
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脸 ， 所 以 对 牌 曲 、 侧 面 人 脸 检测 效果 不 佳 ， 容 易 形 成 
漏 检 。 为 解决 上 述 问 题 ， 采 用 旋转 方法 对 人 脸 进行 检 
测 。 将 竺 检测 图 像 旋 转 至 正面 标准 图 像 ， 然 后 进行 人 
脸 检 测 ， 待 检测 完成 后 ， 又 旋转 回 原 图 。 具 体 实现 过 
程 如 图 5.20 所 示 。 图 5.21 所 示 为 检测 的 人 脸 示 





例 。 


5.2.1.3 人 有 眼 区 域 定位 

在 人 脸 检 测 的 基础 上 ， 根 据 人 脸 五 官 分 布 的 先 验 
知识 ,缩小 人 眼 区 域 的 搜索 范围 。 人 脸 上 眼睛 一 般 分 
布 在 脸 的 1/2 以 上 ， 因 此 这 里 取 人 脸 区 域 的 上 半 部 对 
称 的 左右 区 域 为 人 眼 潜 在 区 域 。 在 此 区 域内 采用 Ad- 


aBoost 算法 


检测 人 上限 区 域 ， 同 样 采用 旋转 方法 来 检测 人 眼 。 为 了 








离线 训练 实时 检测 





| 
强 分 类 器 级 联 ， 多 层 分 类 器 级 联 | 
一 
























































图 5.19 人 脸 检 测 流程 
























能 否 检测 出 
Adis? 





将 图 像 旋转 
角度 (Angle) 











| 练 人 眼 分 类 顺 检 测 人 眼 。 为 了 更 准确 地 














判断 检测 结果 是 否 正确 ， 这 里 引进 了 夹 角 A 的 概念 。 图 5.20 旋转 人 脸 检测 流程 图 





图 5.21 人 脸 检 测 示例 
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人 有 眼 分 类 结果 判断 示意 图 如 图 5. 22 所 示 。 











a) 正 确 的 人 眼 区 域 b) 错 误 的 人 眼 区 域 


图 5.22 人 了 眼 分 类 结果 判断 示意 图 

夹 角 4 定义 为 人 眼 分 类 器 输出 的 双 区 域 中 心 连 线 与 人 脸 平 行 线 夹 角 。 如 图 5. 22a、b 所 
示 ， 如 果 夹 角 4 小 于 一 定 闽 值 ， 则 为 正确 的 人 眼 双 区 域 ， 如果 夹 角 4 过 大 ， 则 为 错误 的 人 眼 
双 区 域 。 这 样 降低 了 人 有 眼 区 域 错 误 检 测 概率 。 图 5. 23a 所 示 为 人 眼 分 类 器 的 检测 结果 ， 图 
5. 23b 所 示 为 其 在 差分 图 像 上 的 对 应 区 域 。 
5.2.1.4 人 有 眼 区 域 形态 学 滤波 

由 于 头 部 随机 运动 和 环境 及 光源 光照 的 变化 ， 造 成 差分 图 像 除 保留 瞳孔 外 还 保留 其 他 头 
部 信息 和 杂 散 噪声 点 ， 并 且 瞳 孔 的 形状 也 不 规则 ， 可 能 会 出 现 毛刺 或 小 的 缺口 。 因 此 ， 需 要 
对 差分 图 像 中 初步 定位 的 人 眼 区 域 滤 波 。 我 们 采用 数学 形态 学 的 开 运 算 对 差分 图 像 滤波 并 对 
瞳孔 目标 修 形 。 设 差分 后 人 眼 区 域 图 像 为 /， 选 取 大 小 合适 的 结构 元 素 B, A 

f'=/0BOB (5. 24) 

在 上 述 人 脸 及 人 了 眼 的 检测 步 又 中 ， 亮 瞳 图 像 减 去 暗 瞳 图 像 获得 差分 图 像 。 由 于 亮 瞳孔 和 
暗 瞳 孔 现 象 ， 所 以 亮 暗 瞳 差 分 图 像 突出 了 瞳孔 目标 。 在 上 暗 瞳 图 像 采 取 AdaBoost 算法 检测 人 
脸 并 确定 了 人 眼 区域 ， 将 此 区 域 对 应 的 差分 图 像 区 域 作为 瞳孔 的 潜在 区 域 。 以 下 的 检测 步骤 
都 是 在 差分 图 像 中 进一步 检测 瞳孔 目标 。 


5.2.2. 投影 法 缩小 人 眼 检测 区 域 


以 上 虽然 可 以 初步 定位 人 上 脸 区 域 , 但 检测 的 人 眼 范围 过 大 ， 在 差分 图 像 中 还 包含 着 眉毛 
等 干扰 团 块 ， 对 正确 分 离 瞳孔 目标 造成 影响 。 下 面 通过 积分 投影 法 进一步 缩小 人 腿 区 域 范 
围 ， 为 瞳孔 检测 打下 基础 。 图 5. 23c 所 示 图 像 是 根据 图 5. 23a 所 示 检 测 结果 划分 的 投影 法 待 
测 区 域 。 

积分 投影 法 的 过 程 如 下 : 在 差分 图 像 中 ， 灰 度 值 高 的 像素 对 应 着 瞳孔 、 眉 毛 等 部 位 ， 用 
一 个 宽 为 2 ， 高 为 22; 的 窗口 WD1 在 待 检测 区 域 中 从 上 往 下 逐 行 移动 ， 求 出 差分 图 像 的 垂 
直 积分 投影 曲线 ， 即 
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i=io+b; j=jọ+bj 


2, 2 K) 
nape ma m (5.25) 





. 114 - 视线 追踪 








a) 眼睛 区 域 分 类 结果 b) 差分 图 像 对 应 区 域 








待 检 测 区 域 








6000 





眉毛 对 应 行 






眼睛 对 应 行 














c) 待 检 测 区 域 d) 待 测 区 域 的 垂直 投影 





e) 人 脸 区 域 结果 


图 5.23 人 了 眼 区 域 检测 过 程 
该 曲线 上 nn 个 局 部 极 大 处 对 应 的 行 构成 的 集合 ， 可 能 是 瞳孔 中 心 行 集合 。 如 图 5. 23d 所 示 ， 








垂直 积分 投影 的 局 部 极 大 值 分 别 对 应 差分 图 像 中 的 眉毛 、 瞳 孔 等 高 灰 度 值 区 域 。 眉 毛 位 于 眼 
睛 的 上 面 ， 所 以 在 待 检测 区 域 检 测 出 的 第 二 个 极 大 值 被 认为 是 瞳孔 的 行 值 。 根 据 视 线 追 踪 系 
统 所 采用 摄像 机 的 摄影 比例 及 人 距离 摄像 机 的 一 般 距 离 ， 可 以 估计 人 眼 所 占 图 像 像素 的 范 
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围 ， 进 而 可 以 判断 出 图 像 中 眼睛 的 区 域 。 如 图 5. 23e 所 示 红 色 (折线 框 ) 区 域 是 人 眼 区 域 


2 o 
5.2.3 瞳孔 检测 及 瞳孔 椭圆 拟 合 


1. 瞳孔 可 能 区 域 检测 

(1) 瞳孔 可 能 区 域 判 断 

初步 判定 眼睛 区 域 以 后 ， 还 要 根据 亮 瞳 、 暗 有 瞳 、 差 分 三 幅 图 像 中 瞳孔 先 验 知 识 对 差分 图 
像 做 滤波 以 得 到 更 准确 的 瞳孔 区 域 。 根 据 大 量 的 实验 ， 发 现 瞳孔 区 域 主要 有 以 下 两 个 特征 : 

1) 在 暗 瞳 图 像 中 ， 暗 瞳孔 很 暗 ， 像 素 灰 度 接近 0。 其 他 脸 部 区 域 在 红外 光源 照射 下 灰 
度 值 比 瞳 孔 区 域 高 ， 即 使 最 暗 的 眉毛 和 锚 了 筷 由 于 对 红外 光线 有 温 反 射 作 用 ， 其 灰 度 也 通常 不 
为 0。 

2) 亮 瞳 现象 是 由 于 瞳孔 与 光源 的 特定 位 置 造成 的 ， 亮 暗 瞳 区 域 具 有 明显 的 灰 度 差 ， 这 
是 其 他 区 域 所 不 具备 的 特征 ， 也 是 亮 暗暗 差分 方案 定位 瞳孔 的 主要 依据 。 

根据 上 述 瞳 孔 区 域 特 征 进行 瞳孔 区 域 定 位 ， 可 以 有 如 下 判定 : 差分 图 像 中 ， 同 时 满足 暗 
瞳 像 素 灰 度 小 于 灰 度 国 值 thresl 和 差分 图 像 像素 灰 度 大 于 差分 图 像 瞳孔 灰 度 国 值 thres2 两 个 
条 件 的 像素 的 集合 构成 差分 图 像 中 可 能 的 瞳孔 区 PupilC， 如 图 5. 24 所 示 。 

= 






















































































a) ZAIRE b) 左 眼 差分 


图 5.24 有 瞳孔 检测 区 域 

(2) 靖 值 的 确定 

对 于 上 述 靖 值 hresl 和 thres2 ， 采 用 最 大 类 间 方 差 法 ( 即 Otsu^ 15) 确定 靖 值 thresl 和 
thres2 。Otsu 法 是 一 种 自 适 应 阔 值 分 割 方法 ， 它 按 图 像 的 灰 度 特性 ， 将 图 像 分 成 背景 和 目标 
两 部 分 。 类 间 方 差 最 大 意味 着 错 分 概率 最 小 。 对 于 差分 图 像 人 眼 区 域 ， 前 景 ( 即 瞳 孔 ) 和 
背景 的 分 割 闷 值 记 为 7。 属 于 前 景 的 像素 点 数 占 整 幅 图 像 的 比例 记 为 W, HFA E w; 
背景 像素 点 数 占 整 幅 图 像 的 比例 为 下 ， 其 平均 灰 度 为 1,。 图 像 的 总 平均 灰 度 记 为 h， 类 间 
方差 记 为 g。 假 设 图 像 大 小 为 M x N， 图 像 中 像素 的 灰 度 值 小 于 辣 值 7 的 像素 个 数 记 作 Nu， 
I RUKBEECK-T BIET 的 像素 个 数 记 作 N ， 则 

















No 

Wo = 地 (5. 26) 
N, 

V, LA (5.27) 








© Otsu: 大 津 ， 人 名 。Otsu 法 由 大 津 于 1979 年 提出 。 
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N +N =MxN 
W +W =1 
u = Woko + Wp 
g = Wp =u)? +W, (u, -u)? 


由 以 上 各 式 得 到 等 价 式 


E= Wo W, (po - m)? 











(5.28) 
(5.29) 
(5. 30) 
(5.31) 


(5.32) 


采用 遍历 方法 得 到 使 类 间 方 差 最 大 的 阔 值 7， 即 为 所 求 的 阔 值 。 由 阔 值 分 制 得 到 瞳孔 候选 目 
标 ， 如 图 5.25 所 示 。 











图 5.25 瞳孔 候选 目标 





2. 瞳孔 区 域 形 状 滤 波 
在 上 一 步骤 基础 上 ， 得 到 了 瞳孔 的 潜在 区 域 ， 即 瞳孔 可 能 的 区 域 块 。 由 于 光照 等 各 种 因 


素 的 影响 ， 除 瞳孔 目标 外 ， 还 残存 有 其 他 干扰 区 域 块 。 为 了 分 割 出 真正 的 瞳孔 目标 ， 
ILER 























行 瞳孔 形状 大 小 分 析 。 即 分 析 区 域 块 的 面积 、 周 长 和 圆 形 度 等 指标 ， 将 明显 不 符合 
的 区 域 块 舍 去 ， 从 而 达到 分 割 瞳孔 的 目的 。 滤 波 规 则 如 下 : 








1) 瞳孔 








广 域 面 积 应 小 于 一 定 的 阔 值 thres3, KFE KY BÉ thres4; 





2) 瞳孔 


广 域 周 长 应 小 于 一 定 的 冰 值 thres5 ， 大 于 一 定 的 阔 值 thres6 ; 








3) 瞳孔 





往 域 圆 形 度 应 大 于 一 定 阔 值 thres7 。 





上 述 过 程 公式 表述 如 下 : 


area (blob,) <thres3 
Narea (blob,) zthres4 
BLOB = 4blob; | A perimeter (blob,) < thres5 


A^ perimeter (blob,) = thres6 











^ roundness È thres7 











圆 形 度 是 圆 形 目标 的 重要 特征 ， 其 定义 为 








R= m 
E 





还 需 进 





(5. 33) 


(5. 34) 


式 中 ，$ 为 目标 的 面积 , 工 为 目标 的 周 长 。 由 式 子 可 以 得 出 ， 当 图 像 中 的 目标 区 域 为 加 时 ， 
; 而 对 其 他 任何 形状 区 域 ，R 是 小 于 1 的 小 数 ， 且 RR 值 越 小 ， 目 标 区 域 的 形状 
也 就 越 复杂 。 如 正方 形 目标 区 域 的 圆 形 度 近 似 为 0.785， 正 三 角形 目标 区 域 的 圆 形 度 近 似 为 


RR 有 最 大 值 
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0. 615。 可 见 ， 通 过 分 析 目 标的 圆 形 度 ， 可 大 体 获得 目标 区 域 的 形状 。 但 是 由 于 瞳孔 区 域 受 
到 角膜 反射 区 域 的 隐形 ， 瞳 孔 区 域 不 会 是 一 个 标准 的 圆 形 ， 它 的 圆 形 度 也 会 受到 影响 。 仍 然 
通过 大 量 的 实验 ， 可 以 确定 瞳孔 区 域 的 圆 形 度 大 概 会 大 于 一 定 浆 值 thres7， 从 而 用 来 确定 瞳 
孔 区 域 。 

如 图 5.26 所 示 ， 第 2 块 区 域 面积 和 周 长 都 过 小 ， 不 符合 瞳孔 区 域 的 要 求 ， 所 以 第 2 块 
区 域 不 是 瞳孔 ; 第 1 块 区 域 圆 形 度 过 低 ， 区 域 结构 复杂 ， 也 不 是 瞳孔 区 域 ; 第 3 块 区域 面 积 
和 周 长 符合 要 求 ， 并 且 圆 形 度 也 很 大 ， 所 以 判断 第 3 块 区 域 为 瞳孔 区 域 。 


面积 : 24 面积 : 4 面积 : 70 
周 长 : 29 
圆 度 : 0.35 





















图 5.26 瞳孔 区 域 块 map D 














图 5.27 瞳孔 目标 区 块 在 暗 瞳 图 像 上 的 表示 





3. 瞳孔 的 椭圆 拟 合 

差分 图 像 中 瞳孔 目标 确定 后 ， 进 行 瞳孔 边缘 检测 。 对 检测 到 的 瞳孔 边缘 采用 最 小 二 乘法 
拟 合 瞳 孔 椭圆 ， 定 位 瞳孔 中 心 。 最 小 二 乘法 通过 最 小 化 误差 的 平方 和 寻找 数据 的 最 佳 函 数 匹 
配 。 可 以 简便 求 得 拟 合 目标 的 未 知 数据 ， 并 使 所 求 数据 与 实际 数据 之 间 误 差 的 平方 和 最 小 。 
拟 合 的 瞳孔 椭圆 区 域 和 瞳孔 椭圆 中 心 如 图 5. 28 所 示 。 


5.2.4 角膜 反射 (普尔 钦 斑 ) 检测 与 中 心 定位 


1. 角膜 反射 区 域 (普尔 钦 斑 ) 检测 
瞳孔 区 域 附 近 必然 有 角膜 反射 点 ， 所 以 可 以 在 瞳孔 区 域 附近 检测 普尔 钦 斑 。 由 于 角膜 反 
射 区 域 在 暗暗 图 像 的 特征 是 灰 度 值 较 高 ， 所 以 在 暗 瞳 图 像 上 上 ， 可 以 从 灰 度 值 初 步 判 断 可 能 的 
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图 5.28 有 瞳孔 椭圆 及 瞳孔 中 心 示例 
角膜 反射 区 域 。 角 膜 反 射 潜在 区 域 map. E 的 构成 是 由 以 下 规则 确定 的 : 
pij| pbi; Z thres8 A (3P,,) | 
(P,, € mapD A |p;; -Pp l| s thres9) 
EDE, RESO TERCE DOSE TE REL DCBXBR r^] NT ER ES B hres9 ARAP, ERE 
RRERER FAKER thres8 的 点 集 。 同 样 由 于 光照 等 因素 影响 ， 角 膜 反 射 区 域 也 会 有 许多 





mapE = | (5.35) 





干扰 点 。 这 里 使 用 如 下 判 据 ， 即 普尔 钦 斑 是 尺度 最 大 的 高 亮 斑 。 去 除 其 他 小 的 团 块 ， 剩 下 的 
即 为 角膜 反射 团 块 map Fo 


a aEEE- — Q7 









a) 角膜 反射 搜索 区 域 


c) 角膜 反射 





图 5.29 角膜 反射 检测 结果 





2. 角膜 反射 中 心 定 位 
角膜 反射 本 来 为 圆 形 ， 但 是 由 于 光照 等 各 种 因素 的 影响 ， 它 为 一 些 不 规则 的 区 域 。 一 般 
来 讲 ， 求 角膜 反射 中 心 的 方法 有 两 种 : 一 种 是 先 求 角膜 反射 的 轮廓 ， 然 后 对 角膜 反射 边缘 进 
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IMARA, BERUF roc f T f E rp 77; 另 一 种 是 通过 质心 估计 角膜 反射 
rap P^, AGO DA SC KRA REEK, RAK E NIB ERE rper ff I 
射 中 心 " 9， 并 将 其 圆心 作为 角膜 反射 的 中 心 。 角 膜 反射 中 心 如 图 5.30 所 示 ， 具 体 算法 如 
F: 

1) 在 点 集中 任 取 两 个 点 4、B， 以 A、B 两 个 点 为 直径 作 圆 ; 

2) 若 以 4、B 为 直径 的 圆 包容 了 点 集 所 有 点 ， 则 该 圆 即 为 所 求 的 最 小 外 接 圆 ， 否 则 在 
点 集中 找 出 距离 该 圆 圆 心 最 远 的 点 C， 以 A、B、C 三 个 点 作 圆 ; 

3) 若 以 4、B、C 三 个 点 确定 的 圆 包容 了 点 集 的 所 有 点 ， 则 该 圆 即 为 所 求 的 最 小 外 接 
圆 ， 否 则 在 点 集中 找 出 距离 该 圆 圆心 最 远 点 D， 执 行 4) ; 

4) 在 4、B、C、D 中 选 两 个 点 ， 以 它们 为 直径 作 圆 ， 若 能 包容 这 四 个 点 ， 则 以 此 两 个 
点 为 4、B 转 2)， 否则 执行 5); 

5) 在 4、B、C、D 中 任 选 三 个 点 作 圆 。 从 中 找 出 能 包含 这 四 点 的 最 小 圆 ， 则 以 决定 最 
小 圆 的 三 个 点 为 4、B、C 转 3)。 





图 5.30 ”普尔 钦 斑 中 心 示 意图 
5.2.5 实验 结果 与 分 析 


平面 视线 参数 提取 是 视线 追踪 系统 前 端的 共性 问题 。 为 了 验证 上 述 方法 的 有 效 性 ， 对 视 
线 追 踪 系 统 采用 VC ++ 进行 编程 实验 。 图 5. 31 所 示 为 三 个 受 试 者 在 各 种 不 同 头 部 姿态 下 的 
人 脸 和 人 眼 检测 结果 。 可 见 在 头 部 转动 明显 的 情况 下 ， 这 种 视线 参数 检测 方法 也 能 有 效 地 和 定 
位 人 脸 和 人 有 眼 。 图 5. 32 所 示 为 两 名 受 试 者 双眼 视线 参数 的 提取 过 程 。 可 见 这 种 方法 可 以 有 
效 地 检测 不 同 使 用 者 的 平面 视线 参数 。 

与 其 他 视线 追踪 系统 视线 参数 检测 方法 比较 结果 见 表 5.4， 可 见 这 种 方法 检测 效果 好 于 
参考 文献 [5] 中 组 合 亮 暗 瞳 差 分 与 SVM 的 方法 ， 也 好 于 参考 文献 [15] 中 的 组 合 亮 暗 瞳 
差分 与 Haar 分 类 器 方法 。 

表 5.4 眼睛 检测 方法 比较 





图 像 参考 文献 [5] 中 的 方法 参考 文献 [15] 中 的 方法 本 文 方法 
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图 5.31 头 部 不 同 姿态 的 人 脸 和 人 有 眼 检测 结果 





DO, 
uL m 


a) 


图 5.32 受 试 者 双眼 视线 参数 的 提取 过 程 
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b) 
图 5$.32  (£&) 
Yi 估计 视线 与 真实 视线 的 比较 
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K5.33 ”视线 估计 与 真实 视线 比较 
表 5.5 不 同 使 用 者 的 视线 估计 结果 











使 用 者 水 平方 向 精度 A/mm, o7 (°) 竖 直 方向 精度 A/mm, o7 (°) 
1 13.00 +7.39, 0.84 +0.53 13.99 +8.65, 1.02 +0.61 
2 25.11 +9.89, 1.86 x0. 74 32. 78 x12. 39, 2.32 x0. 88 
3 24.81 +5.61, 1.89 +0.41 33.78 +6.28, 2.39 «0. 46 
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( 续 ) 
使 用 者 水 平方 向 精度 A/mm, o7. (°) 竖 直 方向 精度 A/mm, og/ (°) 
4 16. 87 +6.39, 1.18 +0.45 23.52 +7.38, 1.66 +0. 54 
5 17.99 +4.21, 1.30 +0.31 23.88 +5.68, 1.74 +0. 42 
6 27.24 +9.18, 2.10 x0. 67 37.40 + 12.95, 2.66 +0.92 
7 23.25 +4.69, 1.69 +0.32 26.79 +7.24, 1.94 +0. 52 








在 北京 科技 大 学 开发 的 视线 追踪 系统 中 ， 对 不 同 使 用 者 的 视线 估计 效果 进行 了 测试 ， 部 
分 结果 见 表 5. 5， 水 平方 向 平均 精度 1. 5" 左 右 ， 竖 直方 向 平均 精度 1.9° 左 右 。 图 5. 33 所 示 
为 视线 估计 结 


5.3 本章 小 结 


基于 VOG 的 视线 追踪 系统 普遍 采用 瞳孔 角膜 反射 方法 。 为 了 稳定 快速 地 检测 瞳孔 ， 瞳 
孔 角 膜 反射 方法 往往 采用 亮 暗 瞳 差分 方案 。 特 征 提取 的 质量 是 影响 视线 追踪 系统 精度 的 主要 
因素 之 一 ， 本 章 主要 介绍 了 两 种 视线 追踪 系统 视线 参数 检测 方法 ， 即 宽 视 野 摄 像 机 系统 的 视 
线 参 数 检测 方法 和 罕 视 野 摄像 机 系统 的 视线 参数 检测 方法 。 其 中 ， 窦 视野 摄像 机 的 视线 参数 
检测 方法 主要 侧重 于 对 高 精度 亚 像素 特征 参数 提取 方面 进行 了 研究 。 针 对 角膜 反射 对 瞳孔 边 
缘 的 影响 ,提出 了 基于 径 向 距离 的 瞳孔 边缘 专用 滤波 算法 一 一 RDPEF 算法 ， 从 而 提高 了 瞳 
孔 定 位 精度 。 针 对 因 了 瞳孔 运动 造成 的 差分 图 像 瞳孔 区 域 不 全 ， 通 过 迭代 扩展 的 方式 还 原 运 动 
瞳孔 区 域 ， 提 高 了 运动 瞳孔 定位 精度 。 针 对 角膜 反射 区 域 形 状 的 不 规则 和 边界 的 不 确定 性 ， 
通过 多 个 浆 值 多 次 分 割 的 方式 计算 瞳孔 质心 ， 减 小 模糊 的 边界 区 域 对 瞳孔 质心 结果 的 影响 。 
并 且 利 用 瞳孔 的 历史 信息 ， 提 高 了 瞳孔 定位 鲁 棒 性 。 整 个 方法 建立 了 一 个 多 特征 参数 提取 的 
流程 ， 用 来 提取 包括 人 眼 特 征 和 人 脸 位 置 的 多 个 参数 ， 为 下 一 步 的 视线 估计 提供 了 参数 依 
据 。 上 述 视线 参数 检测 方法 应 用 于 北京 科技 大 学 开发 的 单 摄像 机 双环 形 红 外 光源 视线 追踪 系 
统 中 ， 使 视线 检测 精度 达到 了 实时 人 机 交互 的 水 平 。 

本 章 还 介绍 了 一 种 针对 宽 视 野 摄 像 机 的 视线 参数 检测 方法 ， 这 种 方法 主要 侧重 于 如 何在 
较 大 的 图 像 数据 范围 内 捕 抢 人 眼 。 因 此 ， 基 于 宽 视 野 摄像 机 的 视线 参数 检测 方法 采取 一 种 由 
粗 及 精 的 策略 。 首 先 ， 在 亮 瞳 图 像 应 用 AdaBoost 算法 定位 人 脸 ， 根 据 人 脸 五 官 分 布 先 验 知 
识 初步 确定 人 眼 区 域 并 标记 暗 瞳 图 像 对 应 的 人 眼 区 域 。 然 后 ， 对 差分 图 像 采 用 投影 法 确定 瞳 
孔 潜 在 区 域 , 通过 形态 和 尺度 分 析 滤 波 定 位 瞳孔 。 进 一 步 对 瞳孔 进行 边缘 检测 和 椭圆 拟 合 ， 
提取 瞳孔 中 心 参数 。 接 下 来 在 暗 瞳 图 像 瞳 和 孔 对 应 区 域 附 近 搜 索 ， 并 检测 普尔 钦 斑 并 提取 普尔 
钦 斑 中 心 参数 。 最 后 ， 根 据 瞳 孔 和 普尔 钦 斑 中 心 参 数 获取 平面 视线 参数 。 
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成 像 目 标 跟踪 是 指 对 探测 器 摄取 的 序列 图 像 进行 分 析 ， 确 定 目标 位 置 和 状态 参数 的 技 
术 。 其 实质 是 一 种 目标 检测 技术 ， 跟 踪 的 目的 可 以 分 为 两 类 。 其 中 ， 一 类 是 面向 快速 检测 的 
需要 ， 根 据 序列 图 像 目标 的 历史 信息 ， 快 速 确定 目标 的 当前 位 置 。 定 位 目标 后 还 需 对 目标 进 
行 精细 分 割 ， 以 确定 目标 的 状态 参数 。 这 个 过 程 可 称 为 " 先 跟踪 后 检测 "。 另 一 类 则 是 面向 
目标 状态 参数 的 精确 估计 ， 即 对 于 每 一 帧 图 像 检测 到 的 目标 参数 ， 融 合 前 面 序列 图 像 中 目标 
检测 的 历史 信息 ， 采 用 统计 滤波 方法 对 目标 参数 进行 精确 估计 ， 以 获得 鲁 棒 性 好 的 、 准 确 的 
目标 状态 参数 。 这 一 过 程 可 以 称 为 “ 先 检测 后 跟踪 "。 常 用 的 跟踪 方法 有 对 比 度 跟踪 、 特 征 
序列 匹配 、 图 像 相 关 跟 踪 等 。 常 用 的 统计 滤波 方法 包括 卡尔 曼 滤波 、 粒 子 滤波 、 多 假设 跟踪 
等 。 跟 踪 过 程 涉及 的 图 像 特征 可 以 是 幅度 分 布 、 频 谱 、 几 何 特征 ， 如 点 、 线 、 面 、 边 缘 、 纹 
理 、 不 变 矩 特征 等 。 

基于 亮 瞳 和 暗 瞳 图 像 差分 方案 的 VOG 视线 追踪 系统 的 眼睛 特征 提取 和 视线 参数 检测 过 
程 ， 很 大 程度 上 依赖 于 瞳孔 定位 。 以 腹 孔 定位 为 基础 的 特征 和 参数 提取 过 程 是 在 相 邻 两 帧 中 
完成 的 ， 可 以 在 接 下 来 的 视频 序列 中 重复 进行 以 上 的 参数 提取 过 程 ， 得 到 实时 的 视线 参数 。 
但 是 这 样 做 有 下 面 几 点 问题 : 

1) 每 次 在 整 幅 图 像 中 搜索 瞳孔 效率 低 、 时 间 长 ， 影 响 系统 的 实时 性 。 

2) 由 于 没有 使 用 瞳孔 的 历史 信息 ， 所 以 使 瞳孔 检测 的 鲁 棒 性 差 ， 对 外 部 光照 、 眼 睛 角 
度 、 上 是 眼 等 情况 的 适应 性 差 ， 不 能 满足 系统 的 鲁 棒 性 要 求 。 

3) 由 于 没有 使 用 瞳孔 的 历史 信息 ， 影 响 瞳孔 定位 的 准确 性 ， 即 每 一 帧 图 像 的 瞳孔 中 心 
都 是 由 图 像 分 割 方法 确定 。 其 实 还 需 根据 以 前 的 检测 结果 ， 通 过 统计 滤波 方法 对 当前 检测 到 
的 瞳孔 目标 参数 进行 估计 ， 以 获得 更 准确 可 靠 的 瞳孔 目标 参数 。 

所 以 ， 在 初始 帧 中 对 瞳孔 进行 定位 以 后 ， 需 要 在 接 下 来 的 视频 序列 中 对 瞳孔 进行 跟踪 。 
瞳孔 检测 与 跟踪 是 VOG 视线 追踪 系统 的 共性 问题 ， 如 前 所 述 瞳孔 跟踪 也 分 为 两 种 类 型 :一 
类 是 面向 视线 特征 参数 的 快速 检测 ， 即 上 文 所 说 的 “ 先 跟踪 后 检测 ”， 跟 踪 的 目的 是 在 每 一 
帧 图 像 中 对 瞳孔 快速 定位 ， 另 一 类 是 面向 瞳孔 特征 参数 的 精确 估计 ， 即 上 文 所 说 的 “ 先 检测 
后 跟踪 "， 跟 踪 的 目的 是 融合 前 帧 瞳孔 目标 参数 和 当前 检测 的 瞳孔 目标 参数 对 当前 帧 瞳孔 目 







































































































































































标 参 数 进行 估计 ， 提 高 检测 的 鲁 棒 性 和 准确 性 。 用 于 实时 视线 追踪 系统 的 瞳孔 跟踪 方法 一 般 
需要 满足 以 下 几 点 要 求 : 
1) 由 于 采用 的 是 灰 度 图 像 ， 所 以 必须 充分 利用 亮 瞳 和 暗 瞳 两 个 通道 的 图 像 信息 ， 使 瞳 











孔 目 标 特 征 更 加 突出 并 增加 跟踪 过 程 可 利用 的 瞳孔 特征 ， 从 而 增强 瞳孔 跟踪 的 鲁 棒 性 。 
2) 由 于 瞳孔 尺寸 较 小 ， 所 以 必须 选择 一 种 能 充分 区 分 前 景 和 背景 的 目标 模型 来 描述 瞳 
孔 特征 ， 以 减 小 背景 对 目标 模型 的 干扰 。 
3) 跟踪 过 程 的 状态 转移 方程 必须 体现 瞳孔 的 运动 规律 。 但 是 由 于 人 头 部 运动 和 瞳孔 运 
动 的 随机 性 ,很 难 用 一 种 准确 的 模型 描述 瞳孔 运动 。 
4) 根据 跟踪 过 程 所 采取 的 统计 方法 ， 需 要 建立 可 信和 度 高 的 瞳孔 观测 模型 ， 才 能 有 效 融 
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合 历史 信息 和 当前 观测 效果 。 

5) 整个 跟踪 过 程 需 要 满足 系统 的 实时 性 要 求 ， 才 能 达到 跟踪 的 目的 。 

6) 需要 满足 长 时 间 跟 踪 的 要 求 ， 跟 踪 效 果 不 随时 间 的 增加 而 下 降 。 

7) 引入 跟踪 方法 后 ， 通 过 对 瞳孔 参数 的 统计 估计 ， 应 使 检测 实时 性 和 精确 性 有 所 提高 。 

根据 以 上 视线 追踪 系统 对 瞳孔 跟踪 方法 的 一 般 要 求 ， 本 章 将 在 阐述 卡尔 曼 滤波 和 粒子 滤 
波 相关 理论 的 基础 上 ， 主 要 介绍 卡尔 曼 滤 波 和 粒子 滤波 在 瞳孔 跟踪 方法 中 的 应 用 。 本 章 将 分 
别 介绍 基于 卡尔 曼 滤波 和 均值 漂移 的 瞳孔 跟踪 方法 、 基 于 粒子 滤波 的 瞳孔 跟踪 方法 、 粒 子 滤 
波 和 卡尔 受 滤 波 的 瞳孔 目标 组 合 跟踪 方法 。 基 于 卡尔 曼 滤 波 的 瞳孔 目标 跟踪 方法 和 基于 粒子 
滤波 的 瞳孔 目标 跟踪 方法 主要 是 面向 瞳孔 检测 的 实时 性 的 。 即 在 相 邻 图 像 帧 中 通过 目标 跟踪 
方法 进行 瞳孔 定位 ， 通 过 跟踪 算法 可 以 解决 相 邻 图 像 间 瞳 孔 目 标的 定位 。 基 于 卡尔 曼 滤 波 和 
粒子 滤波 的 瞳孔 目标 组 合 跟 踪 方 法 则 面向 瞳孔 目标 的 精确 分 割 。 














6.1 基于 卡尔 曼 滤 波 和 均值 漂移 的 瞳孔 跟踪 方法 


6.1.1 卡尔 曼 滤 波 


卡尔 曼 滤波 建立 在 线性 代数 和 隐 马 尔 可 夫 ( Hidden Markov) 模 型 上 。 其 基本 动态 系统 可 
以 用 一 个 马尔 可 夫 链 表示 ， 该 马尔 可 夫 链 建立 在 一 个 被 高 斯 噪声 ( 即 正 态 分 布 的 噪声 ) 干扰 
的 线性 算 子 上 的 。 系 统 状 态 可 以 用 一 个 实 矢量 表示 。 随 着 离散 时 间 的 每 一 次 增加 ， 线 性 算 子 
就 会 作用 在 当前 状态 上 ， 产 生 一 个 新 的 状态 ， 并 会 带 入 一 些 噪声 ， 同 时 系统 的 控制 信息 也 会 
被 加 入 。 同 时 ， 另 一 个 受 噪声 干扰 的 线性 算 子 产生 
这 些 隐 含 状态 的 可 见 输 出 。 卡 尔 曼 滤波 器 的 模型 如 
图 6.1 所 示 ， 图 中 圆圈 代表 矢量 (如 xz) ， 正 方形 代 
REEE RA), ， 星 形 代 表 高 斯 噪声 (如 w ) ， 高 斯 品 
声 对 应 的 协 方差 矩阵 在 星 形 的 右 下 角 标 出 (如 R), 
-l1.k, kel 分 别 代表 上 一 时 刻 、 当 前 时 刻 和 下 一 ”C2 
时 刻 。 其 中 ，R 代表 了 观测 信息 的 质量 , FF 为 状态 
转移 阵 ， 将 过 去 有 -1 时 刻 状 态 和 现在 的 时 刻 状态 
联系 起 来 ; B 代表 控制 输入 u(k) 的 增益 矩阵 ; HON li | 
WIWE, KARREZ X (k) 对 测量 变量 H (k) 的 Bic isbdd 
增益 。 
卡尔 曼 滤波 是 随机 信号 估计 的 算法 之 一 ， 采 用 状态 空间 法 在 时 域内 设计 滤波 器 ， 避 免 了 
在 频 域内 对 信和 号 功率 谱 进行 分 解 的 麻烦 。 同 时 卡尔 曼 滤 波 算法 采用 递 推 计算 方式 ， 将 实时 观 
测 信息 和 历史 信息 融合 于 估计 值 中 ， 从 而 不 必 存 储 时 间 过 程 中 的 观测 量 。 在 状态 空间 方法 
中 ， 引 入 了 状态 变量 和 状态 空间 概念 。 状 态 是 比 信号 更 广泛 、 更 灵活 的 概念 ， 它 非常 适合 处 
理 多 变量 系统 和 信和 号 估计 问题 ， 信 和 号 可 视 为 状态 或 状态 的 分 量 。 系 统 状态 变量 是 能 体现 系统 
特征 、 特 点 和 状况 的 变量 。 状 态 空间 方法 的 关键 技术 包括 状态 空间 模型 和 状态 估计 方法 。 状 
态 方 程 是 描写 状态 变化 规律 的 模型 ， 它 表示 了 相 邻 时 刻 的 状态 转移 变化 规律 。 观 测 方程 描写 
状态 观测 的 信息 ， 通 常 含 有 观测 噪声 且 只 能 对 部 分 状态 变量 进行 观测 。 卡 尔 曼 滤波 是 根据 观 
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测 信息 求 系统 状态 的 最 优 估 计 。 
6.1.1.1 离散 卡尔 曼 滤波 
1. 离散 卡尔 曼 滤 波 基 本 方程 
设 和 时 刻 被 估计 状态 人 (有 ) 受 系统 噪声 序列 W k - 1) 驱动， 驱动 机 理由 下 述 状 态 方程 描 


述 : 
X(k) 2d(k, k-1)X(k-1) - F(k-1)W(k-1) (6.1) 
对 (5) 的 量 测 满 足 线性 关系 ， 量 测 方程 为 
Z(k) SH(k)X(k) + V(k) (6.2) 


式 中 ,Gp(k,， -1) 为 -1 时刻 至 时刻 的 一 步 转 移 和 矩阵 ; Dk - 1) 29 RARE ISI PE; 
H(k) 2g WARE; V (4) 为 量 测 噪声 序列 ; WR) 为 系统 激励 噪声 序列 。 同 时 ，W(k) 和 
V(k) WE 


E[W(k)] =0, Cov[ W(k), W(j) ] -ELW(),WG) ] =Q); (6.3) 
E[V(k)] 0, Cov[V(k), VG) ] SELV( VG) ] =R(k)o, (6.4) 
Cov[ V(k) , V(j)"] 20 (6.5) 


WF, QCO 为 系统 噪声 序列 的 方差 距 阵 ， 假 设 为 非 负 定 阵 ; RC) 为 量 测 噪声 序列 的 方差 距 
阵 ， 假 设 为 正定 阵 。 若 已 知 大 时 刻 的 量 测 值 为 ZE) ， 则 XC) Bof iE X (E) 按 下 述 步 又 求 
解 。 

(1) 估计 误差 方程 

设 大 时 刻 状 态 矢 量 为 X(E) ， 估 计 值 为 X(k) ， 误 差 矢量 为 e(i) 2X(k) -XCk) ， 则 估计 
误差 方差 矩阵 为 


P(k) =E|[X(k) - X(k) JLXCk) -X(k)]")} (6.6) 
估计 误差 方差 为 
£0) = X EIE] = Ble (kh)e(k)| (6.7) 
卡尔 曼 滤 波 根据 测量 矢量 Z(E) ， 求 出 状态 矢量 XO Bd Ee HEX E), 1 RE RS 
FAE) 为 最 小 。 
(2) 预测 误差 方差 矩阵 


根据 估计 方差 最 小 理论 , k+l 时 刻 的 状态 矢量 估计 值 X(k+1) ， 等 于 状态 矢量 X(E+1) 
在 给 定 1Z(1) ，Z(2) =, Z(k) 1 时 的 条 件 均值 ， 即 
X[(k+1) |k] EI X(k*1) | Z(0)--Z(À)] (6.8) 
将 此 式 带 入 状态 方程 ， 其 中 EIXCk+1) |Z(1)--Z(k)] 20, BARER XCE) TE k - 1 时 
刻 的 最 优 预测 矢量 ， 即 











X[(k*1) |k] 2(k*1, t)X(k) (6.9) 
同 理 ， 可 以 得 到 观测 矢量 的 最 优 预测 矢量 为 
Z[(k*1) |k] 2H(k*1, k)X[(k+1) |k] (6. 10) 
联 立 求解 ， 得 到 佑 值 误 差 方 差 矩 阵 为 
P(k«1|k) 2f(k«1, k)P(k) (kl, k) -Q(k) (6. 11) 


(3) 滤波 佑 值 方程 
在 对 天 时 刻 状态 矢量 X CR) 进行 预测 后 ， 根 据 实际 得 到 的 +1 时 刻 的 观测 值 Z (c - 106] 
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预测 值 X[ (k +1) | 妇 进 行 修 正 ， 即 可 得 到 大 +1 时刻 的 状态 矢量 对 (hk +1) 的 滤波 佑 值钱 (有 + 
1) ， 有 
X(k&1) 2X[(k1) |k] -K(k 4*1) [Z(k 1) -ZL(k 1) | k] (6. 12) 
式 中 ，K(k+1) 称 为 增益 矩阵 ， 有 
K(k+1)=P(k+1|k)H"(k+1)[H(k+1)P(k+1|k)H"(k+1)+R(k)] ^! (6.13) 
得 到 滤波 误差 方差 矩阵 为 




















P(k+1)=(I-K(k+1)H(k+1))P(k+1 |k) (6. 14) 
在 一 个 滤波 周期 内 ， 从 卡尔 曼 滤 波 使 用 
系统 信息 和 量 测 信息 的 先后 次 序 来 看 ， 
卡尔 曼 滤 波 具 有 两 个 明显 的 信息 更 新 过 ES 


程 一 一 时 间 更 新 过 程 和 量 测 更 新 过 程 。 


式 (6.9) 说 明了 根据 -1 时刻 的 状态 佑 

a et 

对 这 种 预测 的 质量 作 了 定量 描述 。 这 两 
个 公式 的 计算 仅 使 用 了 与 系统 动态 特性 

有 关 的 信息 ， 如 一 步 转移 阵 、 噪 声 驱动 | 
阵 、 驱 动 噪声 的 方差 阵 等 。 从 时 间 的 推 
移 过 程 来 看 ， 这 两 个 公式 将 时 间 从 大 -1 图 6.2 卡尔 曼 滤波 计算 流程 

时 刻 推 进 到 大 时 刻 。 所 以 ， 这 两 个 公式 描述 了 卡尔 曼 滤波 的 时 间 更 新 过 程 。 其 余 各 式 用 来 计 
算 对 时 间 更 新 值 的 修正 量 ， 这 些 修正 量 由 时 间 更 新 的 质量 优 劣 P(&，k +1) 、 量 测 信息 的 质 
量 优 劣 R(k) 、 量 测 与 状态 的 关系 有 (4) 及 具体 的 量 测 值 Z() 所 确定 。 所 有 这 些 方程 围绕 着 
如 何 合理 利用 Z(k) ， 描 述 了 卡尔 曼 滤 波 的 量 测 更 新 过 程 。 卡 尔 曼 滤波 的 时 间 更 新 过 程 和 量 
测 更 新 过 程 如 图 6. 2 和 图 6. 3 所 示 。 卡 尔 曼 滤波 具有 两 个 计算 流程 一 滤波 计算 流程 和 增益 
计算 流程 。 
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P(k,k-1)= (Kk, k-1) P(k- 1), T(k k-1)- T (k-1)Q(k- 1) (k-1) 
[ra] 
K(K)-P(K,k-1) H'(OHQOP(-- T) H(K) ROO) 


P(k)-Q0—-K(K)H(Kk)) P(k,k-1) 











Y 


图 6.3 卡尔 曼 滤 波 增益 流程 
其 中 ,增益 计算 流程 是 独立 计算 流程 ， 而 滤波 计算 流程 依赖 于 增益 计算 流程 。 
2. 滤波 状态 和 测量 初 值 选取 
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卡尔 曼 滤波 是 一 种 递 推算 法 ， 启 动 时 必须 先 给 定 初 值 X。 和 P。。 如 果 选 取 X =m, MYE 
波 过 程 中 估计 始终 无 偏 ， 即 ELX,] =E[XX(k) ] 。 如 果 开 始 并 不 了 解 初始 状态 的 统计 特性 ， 


4 








X, 20, P, =al (6. 15) 

X, ., 70, P, , =l (6. 16) 

APF, a 为 很 大 的 正 数 ， 在 此 情况 下 滤波 器 不 能 保证 是 无 偏 的 。 由 于 PoC, BIEASCPSRU 

估计 均 方 误差 也 不 一 定 是 最 小 的 。 如 果 系 统 是 一 致 完 全 随机 可 控 和 一 致 完 全 随机 可 观测 的 ， 

则 卡尔 曼 滤波 一 定 是 一 致 渐进 稳定 的 。 即 随 着 滤波 步 数 的 增加 ， 盲 目 选 取 的 滤波 初 值 和 

P, 的 影响 将 逐渐 减弱 直至 消失 ， 估 计 逐 渐 趋 向 无 偏 ， 估 计 的 均 方 误差 也 逐渐 和 P, = Cy 时 的 
结果 保持 一 致 。 


6.1.2. 基于 卡尔 曼 滤 波 和 均值 漂移 的 瞳孔 跟踪 方法 


基于 卡尔 曼 滤波 和 均值 漂移 的 瞳孔 跟踪 是 在 双环 形 主 动 红外 光源 系统 中 实现 的 。 即 在 亮 
暗 瞳 差分 方案 中 进行 瞳孔 跟踪 。 双 环形 光源 根据 帧 同步 信号 控制 内 外 环 光 源 交 替 开 关 ， 内 环 
光源 点 亮 产 生 亮 瞳 和 孔 ， 外 环 光 源 点 亮 产 生 上 暗 瞳 了 筷 和 普尔 钦 斑 。 在 亮 瞳 图 像 上 进行 基于 卡尔 曼 
滤波 的 瞳孔 跟踪 ， 当 瞳孔 运动 平稳 时 ， 卡 尔 曼 滤波 可 以 快速 地 跟踪 瞳孔 。 当 瞳孔 快速 大 范围 
运动 时 ， 卡 尔 受 滤波 跟踪 失败 ， 此 时 以 上 一 帧 的 瞳孔 信息 初始 化 均值 漂移 跟踪 器 ， 利 用 亮 暗 
瞳孔 两 个 通道 的 信息 作为 均值 漂移 直方 图 相似 度 的 度量 。 多 次 迭代 均值 漂移 过 程 ， 直 至 跟踪 
结果 收敛 。 跟 踪 结 果 与 目标 模型 相符 ， 则 跟踪 成 功 后 ， 下 一 帧 继续 用 快速 的 卡尔 曼 滤 波 进 行 
瞳孔 跟踪 。 如 果 均 值 漂 移 跟 踪 失 败 ， 那 么 下 一 帧 重新 检测 眼睛 目标 。 

如 前 所 述 ， 虽 然 眼 睛 和 瞳孔 可 以 在 每 帧 中 检测 完成 。 但 需要 搜索 每 一 帧 的 整个 图 像 ， 
明显 降低 了 瞳孔 检测 的 速度 ， 影 响 检测 的 实时 性 。 因 此 ， 在 初始 帧 中 检测 眼睛 和 瞳孔 后 ， 
可 以 在 后 续 帧 中 对 眼睛 和 瞳孔 进行 逐 帧 跟踪 。 通 过 预测 和 检测 组 合 来 更 有 效 地 实现 眼睛 
和 瞳孔 的 检测 ， 即 所 谓 的 “ 先 跟踪 后 检测 ”。 卡 尔 曼 滤波 为 视线 追踪 系统 的 瞳孔 跟踪 提供 
了 一 种 机 制 。 

卡尔 曼 滤 波 适 合 处 理 高 斯 分 布 的 状态 佑 计 问 题 。 因 此 ， 当 头 部 快速 移动 或 瞳孔 特征 不 够 
突出 的 情况 下 ， 卡 尔 曼 滤波 跟踪 将 失 至。 因此 ， 可 以 将 卡尔 曼 滤 波 和 均值 漂移 相 结合 来 实现 
瞳孔 跟踪 。 

1. 基于 卡尔 曼 滤波 的 瞳孔 跟踪 

卡尔 曼 滤波 是 一 种 递归 算法 ,可 以 用 来 估计 移动 目标 的 状态 和 不 确定 性 。 对 序列 图 像 中 
的 目标 ， 可 以 通过 卡尔 曼 滤 波 预 测 下 一 帧 中 目标 的 位 置 及 搜索 目标 的 区 域 。 视 线 追 踪 系 统 中 
基于 卡尔 曼 滤 波 的 瞳孔 跟踪 方法 如 下 : 

在 每 一 时 刻 1 的 图 像 幢 中 瞳孔 状态 以 位 置 和 速度 表征 。(c,， r, AEX t 时刻 的 瞳孔 质心 像 
素 水 平和 垂直 方向 坐标 ，(w, ,wvw,) 代 表 ; 时刻 垂直 和 水 平 两 个 方向 的 速率 。 时 刻 1 的 状态 矢 
量 可 表示 为 





































































































T 
X, 2 (e, TQ, U,, v,) 


根据 卡尔 曼 滤波 理论 ，t +1 时 刻 的 状态 矢量 处,,, 和 当前 状态 X, 线性 相关 ， 系 统 状 态 转 
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移 模 型 为 

X,,, = ÓX, +W, (6. 17) 
XB, D 为 状态 转移 矩阵 ，W, 为 系统 扰动 。W, 服从 p(W,) ~N(0，Q) 分 布 ， 其 中 CO 代表 
噪声 协 方差 矩阵 。 

进一步 假设 ， 通 过 瞳孔 特征 检测 的 估计 状态 Z, = (6, 六 ) ， 为 在 上 时 刻 检测 的 瞳孔 位 置 
言 息 。 因 此 卡尔 曼 滤波 的 观测 模型 为 

Z, - HX, +M, (6. 18) 
矩阵 五 将 当前 状态 和 当前 测量 联系 起 来 ，M, 表示 测量 的 不 确定 性 ， 服 从 p(M,) ~N, 
尺 ) 分 布 , 尺 是 测量 噪声 协 方差 矩阵 。 为 简单 起 见 ，Z, 仪 包含 位 置 ，HH 可 表示 为 
f 0 0 | 
H- (6. 19) 
0 1 0 0 

给 定式 (6. 17 ) 的 状态 转移 模型 和 式 (6. 18 ) WME RRR, RERE X, A 
协 方差 矩阵 允 ,, ,可 更 新 如 下 : 

设 XY,, ,是 由 系统 状态 转移 模型 产生 的 ++1 时 刻 的 估计 状态 矢量 。 成 ,通常 称 为 先 验 估 
计 。 马 ,不 同 于 成 ,，， 它 是 由 系统 状态 转移 模型 式 (6. 17) 和 测量 模型 式 (6. 18) 联合 估计 的 。 
X, 通常 被 称 为 后 验 估 计 。 设 马 ， 和 马 , 分 别 作为 忆 ,,， 和 成 ,的 协 方差 和 矩阵。 共同 确 定 先 验 
和 后 验 状 态 估 计 的 不 确定 性 。 卡 尔 曼 滤 波 的 目标 是 通过 X，3,，Z, 和 系统 转移 与 测量 模型 
来 共同 估计 针 ,,,3,,,。 卡 尔 曼 滤波 算法 状态 预测 和 更 新 可 归纳 如 下 。 

(1) 状态 预测 

给 定 当前 状态 处 , 和 协 方差 矩阵 马 ， 状 态 预测 分 两 个 步骤 : 状态 投影 X,,, 和 误差 协 方差 
[702 pP 








X, - X, (6. 20) 
Sd -$0Y d$ +Q, (6. 21) 
由 先 验 估计 和 ,和 其 协 方 差 矩 阵 瑟 , ， 瞳 孔 检测 时 在 成 ,附近 搜索 ,搜索 范围 取决 于 





Xo 
(2) 状态 更 新 
Z, 代表 检测 到 的 瞳孔 位 置 。 状 态 更 新 由 最 终 状 态 和 协 方差 矩阵 完成 。 状 态 更 新 中 的 首 
要 任务 是 计算 卡尔 曼 增 益 和 矩阵 玉 ,,。 方 法 如 下 : 
X7, H" 
Kai = py- H 4R 
增益 矩阵 天 作为 权重 因数 来 决定 观测 Z,,, 和 预测 H X, AERA X, ARE, 
将 观测 量 合 并 到 式 (6. 17) 后 验 状态 估计 六 ,,,。X,,1 按 如 下 方法 计算 . 
X=, +K, (Z, -HX,,) (6. 23) 
相应 地 ， 后 验 协 方差 误差 估计 为 


(6.22) 


t+l 





X,-(I-K,,H)X;, (6. 24) 
在 每 个 时 刻 状 态 转移 和 测量 更 新 完成 后 ， 卡 尔 曼 滤波 器 递归 状态 估计 将 以 前 的 后 验 估 计 
作为 一 个 新 的 先 验 估计 。 
2. 基于 均值 漂移 的 瞳孔 跟踪 
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均值 漂移 追踪 是 基于 物体 外 观 的 跟踪 方法 。 通 过 均值 漂移 在 候选 目标 区 域 中 识别 一 个 外 
观 与 目标 模型 相似 的 区 域 。 

(1) 相似 性 度量 

两 个 模板 的 相似 度 可 以 采用 巴 氏 系数 来 表达 。 目 标 灰 度 q 和 候选 区 域 灰 度 p 的 巴 氏 系 
数 反映 其 相似 度 。 离 散 灰 度 和 = Ghaanaa) MA ARRUNKI m 进 制 直方 图 得 到 。 
而 p= | 六 | (31p,=1) 从 一 个 特定 区 域 y HU m 进 制 直方 图 得 到 。 巴 氏 系数 的 计算 公 
式 为 


PO) =PO) dl = > VA d. (6.25) 
基于 巴 氏 系数 的 距离 定义 为 
d(y) 7 J1-plp(y). à] (6. 26) 


(2) 眼睛 直方 图 模型 

为 了 区 分 眼睛 区 域 和 非 眼睛 区 域 的 灰 度 分 布 ， 利 用 了 眼睛 图 像 灰 度 分 布 的 特点 ， 即 偶数 
帧 图 像 和 奇数 帧 图 像 的 灰 度 分 布 不 同 。 在 双环 光源 的 作用 下 ， 内 环 光 源 产 生 亮 瞳 了 筷 ， 外 环 光 
源 产生 暗 瞳 孔 ， 如 图 6.4 所 示 。 有 眼睛 目标 区 域 相应 的 亮 瞳 和 暗 瞳 图 像 有 两 个 不 同 的 灰 度 特征 
分 布 。 


LIES 
"* amr 
- 


a) 亮 瞳 图 像 b) RRENA 


图 6.4 眼睛 图 像 
因此 ， 可 以 用 二 维 直方 图 表示 这 种 不 同 的 灰 度 分 布 。 用 二 维 直方 图 来 表示 眼睛 区 域 的 直 
方 图 分 布 ， 两 个 维度 分 别 表 示 亮 瞳 灰 度 和 暗 瞳 灰 度 ， 每 个 维度 的 长 度 为 1=256， 代 表 所 有 可 
能 的 像素 灰 度 值 。 在 计算 瞳孔 区 域 的 二 维 直 方 图 时 ， 用 一 个 凸 的 单调 递减 的 加 权 函 数 开 对 像 
素 远 离 目标 中 心 的 程度 进行 加 权 。 用 1 | 表示 大 孔 区 域内 各 个 像素 的 位 置 ， 睛 孔 区 姑 
EA n, 个 像素 ,在 当前 帧 中 以 y 为 中 心 。 灰 度 矢 量 五 和 五 分 别 代 表 在 亮 瞳 和 暗 瞳 图 像 的 灰 
SUE 


I nn 




















6[b(x,) —u] 
y - x; 


T 


AP, b) HMEN x, 的 像素 的 二 维 灰 度 值 ; h 为 加 权 函 数 的 半径 ; 6 为 克 罗 内 克 符 号 
数 。 可 以 相似 地 建立 瞳孔 目标 模型 分 布 q。 

(3) 基于 均值 漂移 的 瞳孔 跟踪 

在 前 帧 定位 瞳孔 之 后 ， 基 于 在 前 帧 中 检测 到 的 瞳孔 ， 通 过 式 (6. 27 ) 建立 一 个 瞳孔 模型 
4。 然 后， 利用 卡尔 曼 滤波 预测 当前 帧 的 眼睛 位 置 yy dU yo 作为 最 初 位 置 ， 并 使 用 均值 漂移 
去 搜索 最 相似 的 瞳孔 修 选区 域 。 在 当前 帧 的 目标 模型 中 利用 下 面 的 算法 : 

1) 在 当前 帧 中 用 y, 初始 化 目标 位 置 ， 然 后 通过 式 (6.27) 计 算 直 方 图 分 布 p( yo) ,i 
在 模型 9? 和 目标 5p 之 间 估 计 相 似 系数 ， 即 


u = 1,2,.…,m (6. 27) 
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eG. = > EGO d. (6.28) 
2) BERE mhont 
w; = EC A (6.29) 
id Pp,( yo) 
3) 基于 加 权 平 均 ， 获 得 新 位 置 的 瞳孔 目标 ， 
Èh awg [5 ) 
y 一 一 L (6. 30) 
Eh wef es 
当 g(x) = ka, ERO) haaa HE: 
PO) ,9) = > AGO i (6.31) 


4) 当 | -yl < sel (y), 4188, 
用 0.5(y, ty BR y, MERER 
到 不 正确 的 位 置 。 

5) WÈ liy -yll <e, Wik, K 
H, e IRE, iE yyy, Jf 
HRE 1), 

在 上 一 帧 眼睛 位 置 附近 进行 搜索 ， 新 
的 瞳孔 位 置 能 够 在 当前 帧 通过 迭代 的 方法 
得 到 。 考 虑 到 算法 的 简单 性 ， 均 值 漂移 方 
法 比 其 他 方法 更 快 。 图 6. 5b 所 示 用 巴 氏 
系数 划分 表面 为 一 些 和 矩形 标记 。 均 值 漂移 
AUS Memmi ERE ER, Sirm 
顶点 ， 顶 点 代表 着 相似 度 测 量 的 最 大 值 。 

3. 卡尔 曼 滤 波 和 均值 漂移 相 结合 前 
瞳孔 跟踪 

卡尔 曼 滤 波 的 瞳孔 跟踪 跟踪 效果 良 
好 。 但 是 如 果 头 部 转动 或 外 部 照明 干扰 带 
来 亮 瞳 不 明显 ， 会 造成 跟踪 失败 。 当 头 部 
突然 大 范围 移动 时 ， 卡 尔 曼 滤波 器 也 会 失 
败 。 在 这 些 情况 下 ， 卡 尔 曼 滤波 失败 的 原 
因 是 无 法 检测 到 亮 瞳孔 。 

均值 漂移 跟踪 速度 快 ， 但 很 容易 被 附 
近 区 域 出 现 的 与 瞳孔 类 似 的 目标 所 干扰 。 
由 于 只 用 直方 图 信息 代表 瞳孔 区 域 的 外 
观 , 不 包含 像素 间 的 空间 关系 的 任何 信 
息 ， 容 易 造成 瞳孔 中 心计 算 错 误 。 此 外 ， 











a) 图 像 序列 中 第 13 帧 图 像 
o 相似 度 顶点 
十 起 始 区 域 




















bp) 第 13 帧 图 像 中 左 眼 附近 被 标记 区 域 (40 像 素 x40 像 素 ) 的 巴 氏 
系数 值 (均值 漂移 算法 从 起 始 位 置 (*) 到 相似 度 顶点 C) ) 


图 6.5 基于 均值 浮 移 的 瞳孔 追踪 
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均值 漂移 跟踪 没有 自我 纠正 错误 能 力 ， 这 些 错 误 经 
过 积累 和 传播 ， 将 最 终 导致 跟踪 失败 。 

均值 漂移 可 能 导致 错误 的 瞳孔 跟踪 的 另 一 个 因 
素 ， 是 不 能 不 断 更 新 瞳孔 目标 模型 。 当 瞳孔 由 于 面 
部 方向 的 改变 明显 不 同 于 瞳孔 模型 图 像 时 ， 均 值 漂 
移 暗 孔 跟踪 将 不 能 正确 识别 瞳孔 位 置 。 

基于 上 述 原因 ， 可 以 将 卡尔 曼 滤波 和 均值 漂移 
相 结合 进行 瞳孔 跟踪 ， 以 克服 卡尔 曼 滤波 的 局 限 性 
和 均值 漂移 跟踪 不 完善 的 缺点 ， 有 效 地 完成 瞳孔 跟 
踪 。 具 体 算法 如 下 : 

在 序列 图 像 初始 帧 瞳孔 定位 后 ， 卡 尔 曼 滤波 用 
来 跟踪 瞳孔 ， 如 果 由 于 亮 瞳 消失 造成 跟踪 失败 ， 则 
采用 均值 漂移 继续 跟踪 过 程 。 一 旦 亮 瞳 重新 出 现 ， 
则 返回 卡尔 曼 滤波 跟踪 瞳孔 。 如 果 均 值 漂移 失败 则 
重新 进行 瞳孔 检测 。 通 过 两 阶段 的 眼 踪 ， 可 以 提高 
瞳孔 跟踪 的 鲁 棒 人 性， 卡尔 曼 滤波 结合 均值 漂移 的 腾 E 
孔 跟踪 流程 如 图 6. 6 所 示 。 是 


跟踪 过 程 ， 瞳孔 检测 成 功 以 后 ， 在 亮 瞳 图 像 上 — eng 
进行 基于 卡尔 曼 滤波 的 瞳孔 跟踪 ， 当 瞳孔 运动 平稳 


时 ， 卡 尔 受 滤波 可 以 快速 的 跟踪 瞳孔 ; 当 有 瞳孔 快速 
大 范围 运动 时 ， 卡 尔 曼 滤波 跟踪 失败 ， 此 时 以 上 一 
由 的 瞳孔 信息 初始 化 均值 漂移 跟踪 器 ， 利 用 亮 暗 瞳 
孔 两 个 通道 的 信息 作为 均值 漂移 直方 图 相似 度 的 度 
量 ; 多 次 迭代 均值 漂移 过 程 ， 直 至 跟踪 结果 收敛 ; 跟踪 结果 与 目标 模型 相符 ， 则 跟踪 成 功 ; 
下 一 帧 继续 用 快速 的 卡尔 曼 滤 波 进 行 瞳孔 跟踪 ， 如 果 均 值 漂 移 跟踪 失败 ， 那 么 下 一 帧 重新 检 
测 眼 睛 目标 。 
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图 6.6 卡尔 曼 滤波 结合 均值 
漂移 的 瞳孔 跟踪 流程 
































6.2 基于 粒子 滤波 的 瞳孔 跟踪 方法 


6.2.1 粒子 滤波 

粒子 滤波 (Particle Filter) 是 求解 贝 叶 斯 概率 的 一 种 实用 算法 ， 其 含义 是 指 目标 状态 传播 
的 后 验 概率 可 以 用 略 干 个 粒子 来 近似 表示 。 
6.2.1.1 动态 系统 的 状态 空间 模型 

假设 实际 系统 的 状态 序列 为 |x;，ke NI ， 其 中 义 为 时 间 序列 标号 ，x e R" 表示 时 间 标 
号 为 的 状态 矢量 。 状 态 关 系 为 

















x,-f(x,.,, Wr) (6. 32) 
式 中 ，f( ) 为 系统 的 非 线 性 状态 转移 函数 。| wi_,，ke N) 是 一 个 独立 同 分 布 的 噪声 序列 。 另 
外 ， 也 可 以 用 转移 概率 矩阵 形式 来 描述 ， 即 
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p(x,|x,4,) k=0 (6. 33) 
系统 观测 到 的 序列 为 jz,, keN|, EP ze R" 表示 时 间 标 号 为 上 的 观测 矢量 。 它 与 系统 状 
态 之 间 的 关系 为 
z =h(x,, v,) (6. 34) 
式 中 ,为 系统 的 非 线 性 观测 函数 。|v,，keN) 是 一 个 独立 同 分 布 的 噪声 序列 。 另 外 ， 也 
可 以 用 转移 概率 矩阵 形式 来 描述 ， 即 
p(z|x,) k=0 (6. 35) 
状态 空间 模型 最 重要 的 问题 是 在 观测 矢量 zj, = (z,. ce, Z) 和 初始 分 布 P(xzo ) 的 基础 上 ， 佑 
计 出 状态 矢量 x ,,。 时 间 序 列 中 的 参数 估计 和 估计 的 似 然 计算 、 平 稳 或 非 平稳 时 间 序 列 的 构 
建 都 能 通过 状态 佑 计 来 实现 。 对 应 i 取 值 的 三 种 不 同情 况 i=0,i>0,，i<0， 状 态 估计 间 题 
被 划分 为 三 种 不 同 的 类 型 ， 即 滤波 、 预 测 和 和 平滑: 
i 20, ,, ,滤波 
Sl i s0—x,,, HW (6. 36) 
i «0—x,,, ,平滑 
对 于 滤波 问题 ， 需 要 计算 滤波 密度 plx, | zy ) ， 滤 波 密度 实际 上 是 后 验 概率 密度 ， 从 滤波 密 
度 可 以 计算 系统 状态 的 各 种 估计 ， 如 均值 为 


E(x,|z4) = [xx | ze) dx, (6. 37) 





£k = {z , 


px) 


6.2.1.2 贝 叶 斯 滤波 原理 

贝 叶 斯 滤波 原理 的 实质 是 用 所 有 已 知 信息 来 构造 系统 状态 变量 的 后 验 概率 密度 。 即 用 系 
统 状态 转移 模型 预测 状态 的 先 验 概 率 密 度 ， 再 使 用 最 近 的 观测 值 进行 修正 ， 得 到 后 验 概 率 密 
度 。 这 样 ， 通 过 观测 数据 z,, 来 递 推 计算 状态 x, 取 不 同 值 时 的 置信 和 度 p(xi |Zu), UERS 
ats hg pof ^ 。 其 基本 步骤 分 为 预测 ( Prediction ) 和 更 新 (Updating) 两 步 。 

假设 已 知 概率 密度 的 初始 值 p(x。 z) =p(xo)， 并 定义 x 为 系统 状态 ， 如 目标 的 运动 
状态 : 位移、 速度 、 加 速度 、 旋 转 、 尺 度 等 。z, 为 对 系统 的 观测 值 。 递 推 过 程 分 为 两 个 步 
D 

(1) 预测 (Predection ) 

即 由 系统 的 状态 转移 模型 ERRI k AER, SCERAGUSHESS px Z) 8 
先 验 概 率 p(x, | zi ) 的 推导 。 假 设 在 大 -工时 刻 ，p(z | zt) 是 已 知 的 ， 对 于 一 阶 马 尔 
可 夫 过 程 , k-1 时 刻 的 概率 仅 与 上 -2 时 刻 的 概率 有 关 ， 由 Chapman-Kolmogorov 方程 


pxi 12:2) = f PG | xe pres | Ziri) dr. (6.38) 


即 得 到 不 包含 时 刻 观 测 值 的 先 验 概率 ， 并 可 以 由 系统 的 状态 转移 概率 p(x 1x, ) 来 计算 。 
(2) 更 新 ( Update) 
根据 系统 的 观测 模型 ， 在 获得 上 时 刻 的 观测 值 z, 后 ， 实 现 先 验 概率 p(x | Ziri) 至 后 验 
概率 p(x, |z) 的 推导 。 


获得 观测 值 后 ， 由 由 时 斯 公式 p(6 | 4) - PC PORC pq 












































p(x, m ERROR (6. 39) 
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将 观测 量 z 独立 出 来 ， 有 
p(za lx =P(Z Zuri X) (6. 40) 
pu) =PCZ za) (6. 41) 
将 上 两 式 代 入 式 (6.39) ,得 
pzi, Zir DX BC) 


























P(X, oss P. teu) (6. 42) 
由 条 件 概率 定义 p(a, b) 2p(a|b)p(b) ， 有 
p, zu) 2p, [Zir p Rua) (6. 43) 
由 联合 分 布 概率 公式 p(a, b1c) 2p(a|b, ople), 有 
BU Zur-i Xr) ep tacos PUE | x) (6. 44) 
又 根据 贝 叶 斯 公式 ， 得 到 
| p(x, [ORC 
p(naualx7 pæ) (6.45) 
将 式 (6. 43) 、 式 (6.44) FIIR (6. 45) IRAR (6. 42) f 
PC (Zirri Xa) P(X, |Zrr-1)P(Zrr-1)P(%) 
pon (zra) " p(z, Iiic PES 8x) Seu 
假设 各 个 观测 是 相互 独立 的 ， 则 有 
p(z, ziras x,) 2 p(z, |x,) (6. 47) 
将 式 (6. 47) 代 入 式 (6.46)， 并 消去 分 子 和 分 母 的 共同 项 pCz, px, )f8 
p(x, Iz.) pz xu) p(x, ERED. (6.48) 





p(z, | Zi) 
WP, plz, |x) 称 为 似 然 性 (Likelihood) ， 表 征 系 统 状态 由 x, Ea] x, 后 和 观测 值 的 相似 
程度 ; px, | zi) 为 上 一 步 系 统 状态 转移 过 程 所 得 ， 称 为 先 验 概 率 (Prior); p(zi | Zuri) 
称 为 证 据 (Evidence) ， 一 般 是 一 个 归 一 化 常数 。 

这 样式 (6. 38) 和 式 (6. 48) 构 成 了 一 个 由 先 验 概率 p(xi_, |z.,_1) 推 导 至 后 验 概率 p(x 
| zj) 的 递 推 过 程 。 即 首先 由 天 时 刻 的 先 验 概 率 PC(z |z1i_1)( 也 就 是 -1 时 刻 的 后 验 概 
率 ) 出 发 ， 利 用 系统 状态 转移 模型 来 预测 系统 状态 的 先 验 概 率 密度 p(x, | zt ) ， 再 使 用 当 
前 的 观测 值 z, 进行 修正 ， 得 到 撕 时 刻 的 后 验 概率 密度 plx, | zi.) e 

由 上 两 步 求 得 状态 变量 xu 的 后 验 概 率 分 布 P(xzox | zu) Je, TRAE SE TER E DI ERU, 
任意 函数 e C) 的 数学 期 望 为 




















E(gG4) 14) 7 J aoa 1) do (6.49) 
假设 从 条 件 后 验 概率 密度 p(xo | zu HEBEL FE GERE: [S 
PG 14) =E 2, Ag (ron) (6.50) 
RP, 8, ) 为 点 «处 的 狄 拉克 函数 ， 则 g Cro) 的 期 望 可 以 用 下 式 近似 
Een) =y > Gh (6.51) 


NPF, AROFA [xir i20, e, NÆM RERI RAPP ER IN A ss AA S [8] 4) 8 
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序列 。 根 据 大 数 定理 ， 由 于 lxi i=0,，…,，N| 间 相互 独立 ， 当 N— o Ht, Elelxo,)) Xt 
AF Elg Xo) ) o 

由 式 (6. 38) 和 式 (6.48) 可 以 得 到 一 种 求 后 验 概率 的 递 推 方法 ， 但 这 只 是 理论 上 的 处 理 
方法 。 实 际 上 由 于 式 (6. 38) 的 积分 很 难 实现 ， 不 可 能 进行 精确 分 析 。 但 在 某 些 限制 条 件 下 ， 
有 多 种 实现 方法 ， 如 卡尔 曼 滤 波 等 。 
6.2.1.3 蒙特 卡 罗 方 法 

1. 蒙特 卡 罗 方 法 概述 

蒙特 卡 罗 方 法 的 基本 思想 : 为 了 求解 数学 、 物 理 、 工 程 技术 及 生产 管理 方面 的 问题 ， 首 
先 建立 一 个 概率 模型 或 随机 过 程 ， 使 它 的 参数 等 于 问题 的 解 ; 然后 ， 通 过 对 模型 和 过 程 的 观 
察 或 抽样 试验 来 计算 所 求 参数 的 统计 特征 ;最 后 ， 给 出 所 求解 的 近似 值 ， 而 解 的 精度 可 用 估 
计 值 的 标准 误差 来 表示 。 

因此 ， 蒙 特 卡 罗 方 法 解 题 是 以 一 个 概率 模型 为 基础 的 。 按 照 这 个 模型 所 描绘 的 过 程 ， 通 
过 部 分 模拟 试验 的 结果 ， 作 为 问题 的 近似 解 。 蒙 特 卡 罗 方 法 解 题 过 程 可 以 归结 为 以 下 三 个 步 
JE: 

(1) 构造 或 描述 概率 过 程 

对 于 本 身 具有 随机 性 质 的 问题 ， 主 要 是 正确 描述 和 模拟 这 个 概率 过 程 。 对 于 本 来 不 是 随 
机 性 质 的 确定 性 问题 ， 如 定 积分 计算 、 线 性 方程 组 求解 和 偏 微分 方程 边 值 问题 等 ， 用 蒙特 卡 
罗 方 法 求解 ， 就 必须 事先 构造 一 个 人 为 的 概率 过 程 ， 使 它 的 某 些 参量 正好 是 所 求解 问题 的 
解 。 即 将 不 具有 随机 性 质 的 问题 ， 转 化 为 随机 性 质 的 问题 。 

(2) 实现 从 已 知 概率 分 布 抽样 

由 于 各 种 概率 模型 都 可 看 作 是 由 各 种 概率 分 布 构成 的 ， 因 此 产生 已 知 概率 的 随机 变量 ， 
是 实现 蒙特 卡 罗 模 拟 试验 的 基本 手段 。 所 以 ， 蒙 特 卡 罗 方 法 也 叫 随机 抽样 技术 。 最 简单 m 
基本 、 最 重要 的 概率 分 布 是 (0，1) 上 的 均匀 分 布 。 随 机 数 就 是 具有 这 种 均匀 分 布 的 随机 变 
量 。 随 机 数 序列 是 具有 均匀 分 布 的 总 体 的 简单 子 样 ， 即 具有 这 种 分 布 的 相互 独立 的 随机 变数 
序列 。 产 生 随 机 数 的 问题 ， 就 是 根据 这 个 分 布 的 抽样 问题 。 在 计算 机 上 可 以 产生 随机 数 ， 但 
不 能 重复 且 使 用 不 便 。 另 一 种 方法 是 用 数学 递 推 公式 产生 ， 这 样 产 生 的 随机 数 序 列 ， 与 真正 
的 随机 数 序列 不 同 ， 所 以 称 为 伪 随 机 数 或 伪 随 机 数 序 列 。 多 种 统计 检验 表明 ， 它 与 真正 的 随 
机 数 或 随机 数 序列 具有 相似 的 性 质 ， 因 此 可 作为 真正 的 随机 数 来 使 用 。 由 已 知 分 布 随机 抽样 
的 各 种 方法 都 是 借助 随机 序列 来 实现 的 ， 因 此 随机 数 是 实现 蒙特 卡 风 模拟 的 基本 工具 。 

(3) 建立 各 种 估计 量 

一 般 来 说 ， 构 造 了 概率 模型 并 从 中 抽样 ， 就 确定 了 一 个 随机 变量 作为 所 求 问 题 的 解 的 估 
计量 。 建 立 各 种 估计 量 ， 相 当 于 对 模拟 试验 的 结果 进行 考察 和 登记 并 从 中 得 到 问题 的 解 。 

2. 蒙特 卡 罗 积 

ED H n 维 空间 R 上 的 一 个 区 域 ， 考 虑 多 重 积 分 : 

I= | 660 (6.52) 

式 中 , DD 为 积分 区 域 。 由 一 维 积分 变 成 多 维 积分 时 其 处 理 难 度 和 多 样 性 将 大 大 增加 ， 实 现 上 
存在 很 大 难度 。 因 此 当 维 数 超过 4 时 ， 一般 都 采用 蒙特 卡 罗 方 法 求解 。 

蒙特 卡 罗 积 分 就 是 将 积分 值 看 成 是 某 种 随机 变量 的 数学 期 望 ， 并 用 抽样 方法 加 以 估计 ， 
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可 以 写成 
l= f £GOpGO ds (6. 53) 
RP, pE: p(x) 20, | pG) dr = 1。 因 此 需要 对 被 积 函 数 C(x*) 进行 适当 分 解 ， 使 得 


G(x) 2g(x)p(x) ， 通 常 将 p(x) 看 成 是 状态 变量 的 概率 密度 函数 ， 只 要 积分 有 界 ， 则 了 可 看 
成 是 g(x) 的 数学 期 望 ， 即 T=E[g(x) ] 。 对 于 贝 叶 斯 估计 问题 ， 所 关心 的 是 状态 在 给 定 测量 
条 件 下 的 后 验 概率 密度 函数 ， 即 p(x) =p(x |y) glx) =x， 即 可 得 到 状态 的 最 小 方差 
估计 。 
现 从 p(x) 抽 取 随 机 变量 x 的 入 个 样本 |x,}”， 则 g(x) 的 算术 平均 值 为 

By 7 y 2.82) (6.54) 
可 以 证 明 e, 是 了 7 的 无 偏 估计 。 蒙 特 卡 罗 积 分 与 基于 网 络 的 直接 积分 方法 相 比 ， 前 者 积分 过 
程 中 所 使 用 的 样本 点 是 按 密度 函数 p(x) 自动 抽取 的 ， 而 后 者 需要 人 为 地 对 积分 空间 进行 划 
分 。 根 据 大 数 定理 ， 当 |x,1" 中 的 样本 相互 独立 ， 且 N 一 w 时 ， 样 本 的 算术 均值 ey 以 概率 1 
收敛 到 J， 即 




















pClimg, -7) =1 (6.55) 
若 有 不 为 零 的 有 界 方 差 存在 , 即 
o? = | (80x) - D'bGOds <+ œ (6. 56) 
则 在 1 - a 置信 水 平和 下， 有 
ÀT 
|gw -7| s N (6.57) 


即 蒙特 卡 罗 积 分 方法 的 误差 阶 为 rc(N 一 ) ， 它 与 积分 维 数 无 关 ， 故 很 适用 于 高 维 积分 问题 。 
由 式 (6.57) 可见， 给 定 置信 水 平 1 -a， 误差 由 co 和 VN 决 定 。 要 减少 误差 ， 要 么 增 大 样本 数 
目 W， 要 么 降低 方差 o ,通常 降低 方差 的 各 种 技巧 有 重要 性 抽样 、 系 统 抽样 、 分 层 抽样 等 。 

3. 重要 性 采样 

蒙特 卡 罗 积 分 方法 的 前 提 是 可 以 得 到 NN 个 服从 p(x) 分 布 的 随机 样本 。 通 常情 况 下 ， 该 
密度 分 布 函数 并 不 能 写成 一 般 的 解析 形式 ， 很 难 直接 得 到 样本 ， 必 须 用 随机 抽样 算法 。 重 要 
性 抽样 就 是 其 中 典型 的 抽样 算法 。 

考虑 式 (6.53) 的 计算 ， 取 积分 区 域 D 上 任 一 联合 概率 密度 q(x) ， 并 满足 条 件 ， 当 g(x) 
p(x%) 关 0 时 ，g(x) 关 0。 若 令 








fp(x) /q(x) g(x) #0 
w(x) -| Ire (6.58) 

则 有 
I= [eGopGOds = g(r) w(x) g(x) d: (6. 59) 


A ox HILLASIBUA g(x) 分 布 的 随机 抽样 ， 蒙 特 卡 罗 估 计 可 由 样本 均值 给 出 : 


"EE SJ CON (6.60) 
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习惯 上 称 q(x) 为 重要 性 函数 ，w(x ) 为 重要 性 系数 。 要 找到 一 个 重要 性 函数 g(x)， 使 得 
6.2.1.4 粒子 滤波 器 

粒子 滤波 方法 的 基本 思想 是 利用 一 组 带 有 相关 权 值 的 随机 样本 ， 以 及 基于 这 些 样 本 的 佑 
算 来 表示 后 验 概率 密度 。 当 样本 数 非 常 大 时 ， 这 种 估计 将 等 同 于 后 验 概率 密度 。 具 体 地 说 ， 
就 是 在 状态 空间 中 寻找 一 组 随机 样本 对 条 件 后 验 概率 密度 p (xo | zi, ) 进行 近似 ， 以 样本 均 
ERE E(g(xo,) |zi;)， 从 而 获得 状态 的 最 小 方差 估计 。 其 实现 的 关键 ,在 于 寻找 服从 
DG, |Z1:4) 分 布 的 随机 样本 。 这 些 样本 常 被 称 为 粒子 。 

1. 贝 叶 斯 重要 性 采样 ( BIS) 

根据 式 (6. 51)， 一 个 函数 的 后 验 分 布 可 以 用 一 系列 离散 的 粒子 来 近似 表示 ， 近 似 程度 
依赖 于 粒子 的 数量 N。 通 党 函数 的 后 验 分 布 密 度 是 无 法 直接 得 到 的 ， 而 贝 叶 斯 重要 性 采样 定 
理 描述 了 这 个 问题 的 求解 方法 。 

贝 叶 斯 重要 性 采样 ( Bayesian Importance Sampling，BIS) 定 理 是 先 从 一 个 已 知 的 容易 采样 
的 重要 性 函数 g(xo., | zx ) 中 采样 ， 通 过 对 重要 性 函数 的 采样 粒子 点 进行 加 权 来 近似 获得 
p(Xos Zir) o 

XIX (6. 49) 变形 可 得 












































PX, | £4) 





























E(g(xs,)) = | eG tc [z, 010 | Zir) dXo:; (6.61) 
根据 贝 叶 斯 公式 
pu ETE. 
p |Z) = "o (6. 62) 
E p Lem 
有 E(g(xs,)) = | e ores Iz. (d ek | dios 
= | eto E Egana | Zip) dX; (6. 63) 
其 中 权 值 
PCa | Xo.) pXs.4) 
yr) " qg (Ko: |) 4 94) 
其 中 
pua) = fbas Xo: ) do 
B [essa | xor) pn) 4 (xo; EM 
E 263521251 Ms 
= [m Gar | Zir) dXo:; (6. 65) 


将 式 (6. 65) LA (6. 63 ) 得 


[Gri wi Gr) )q (Xs, | Zit) d, 
E(g(xo.1)) = (6. 66) 
IDIOT EOD 


从 重要 性 函数 中 采样 后 ， 数 学 期 望 近似 表示 为 
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Wes) we) 








E(g(xo,)) = N = S ioi D, (Xor) (6. 67) 
LO w(x ix 
N £& "io 
G) 
式 中 , 0, (Xg) = s 为 归 一 化 权 值 ; xL qGo, zs) 中 抽取 的 粒子 。 
2, Gs 2) 
要 性 采样 


325 000 q(xy.4 |z1.; ) 代替 难于 抽样 的 p(xo, |z) ， 是 一 种 易于 实现 的 蒙 
特 卡 罗 方 法 。 但 每 次 新 的 观测 数据 z, 出现 后 ， 都 要 重新 计算 包括 先前 时 刻 在 内 的 整个 状态 
序列 的 重要 性 权 值 ， 各 个 时 刻 的 估计 值 也 要 更 新 , 算法 不 具有 递 推 形式 。 因 此 ， 又 提出 了 一 
种 改进 策略 一 一 序 贯 重要 性 采样 。 

为 了 对 后 验 分 布 进行 递 推 形式 估计 ， 将 上 述 BIS 算法 写成 序列 形式 。 此 时 ， 重 要 性 函数 
q(Xo | zi) 可 以 分 解 为 











q(Xo., ERD -q(x, OE Z4 )g(Xoi.. ETT (6. 68) 

假设 系统 的 状态 和 观测 模型 服从 马尔 可 夫 过 程 ， 在 给 定 状态 下 测量 是 相互 独立 的 ， 即 
pO) = p(xo) | [pC 1x) (6.69) 
ps |y = EC [353 (6. 70) 





通过 由 qo. 1 | zs. 1 ) 得 到 的 支撑 点 x6.;_ 1 和 由 qx, Eon 19 Zik- 1) 得 到 的 支撑 点 xh, 可 
以 获得 新 的 支撑 点 xo.;。 则 权 值 的 更 新 公式 可 以 做 进一步 推导 ,将 式 (6.68) 代 入 式 
(6.64) 得 








p | Xor) P Xos) 
q(x, FR Zit) gC Xoz- FS 





(6.71) 


W,- 


又 由 式 (6. 64) 可 得 
BR La d sap nuu) 
gU a) 
由 式 (6. 69) 和 式 (6. 70) ， 合 并 式 (6. 69) 和 式 (6.72) 可 得 
Ba | Xo) DX) 1 
B(Zyyci X91) PCXor-1) (9, [Xoris Zr) 
p(z, |x,)pCx, [35-43 
Mio. q(x, Dacis) (0:73) 
一 步 ， 如 果 状 态 估计 的 过 程 是 最 优 估计 ， 则 重要 性 概率 密度 函数 只 依赖 于 xz M z, BI 
q(x, ETEF Z4) -q(x, | ons Zi) (6. 74) 
进行 抽样 之 后 ， 对 每 个 粒子 赋予 权 值 w;， 将 式 (6.74) 代 入 式 (6. 73) 83 
M Lao PO Ix POR [xi 1) 
» HE gx" xi. £y) 


式 (6.75) 是 重要 性 权 值 函数 的 递 推 形式 ， 称 为 序 贯 重 要 性 抽样 。 假 设 , CUI E — 1 BIZU DARII 
的 采样 粒子 x 训 _1) 0 ， 以 及 -1 时刻 的 归 一 化 权 值 民 ?1。 记 为 1x02.1， 壤 3231104。 当时 





W; 三 (6. 72) 





Wi = Wisi 








(6.75) 
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刻 的 新 观测 数据 z, 到 来 时 ， 递 推算 法 可 以 归纳 为 
1) 从 重要 性 函数 g(x, 1x0... zu) EE SUC T Ext? 1 
2) 根据 式 (6.75 ) 计 算 大 时 刻 权 值 : 


G) aco P 
Wi, =W; 





(Z; a” p(x? [4553 
Gu |x, £4) 





(6. 76) 
3) 归 一 化 权 值 : 


W? = 一 (6.77) 





把 粒子 和 时 刻 权 值 记 为 1x ，W? diae 

3. 粒子 退化 现象 及 消除 退化 的 关键 技术 

BIS 算法 存在 的 一 个 基本 问题 ， 就 是 退化 现象 。 即 经 过 几 步 迭代 递 推 后 ， 权 重 的 方差 随 
着 时 间 增 大 ， 许 多 粒子 的 权重 变 得 非常 小 ， 只 有 人 少 > 数 几 个 粒子 具有 较 大 的 权 值 大 量 的 计算 
浪费 在 小 权 值 粒子 上 。 解 决 退化 问题 一 般 采 用 两 种 方法 : 选取 适当 的 重要 性 函数 和 进行 重 采 
样 。 

(1) 选取 适当 的 重要 性 函数 

主要 原则 . 

1) 使 权 系 数 方差 最 小 ; 

2) 从 重要 性 密度 函数 中 抽样 容易 实现 。 

重要 性 函数 g(x; [xis mu) 的 最 优选 取 方 法 是 

gon, Xr Ti) mp, Das) (6. 78) 

这 种 情况 下 ， 重 要 性 函数 g(x | x_1，zi) 等 于 真实 分 布 ， 则 对 于 任意 粒子 x;_, ， 都 有 权重 
wi =1/N, var(w;) =0， 此 时 有 





























wi = wia oC xp Gr 1i di, (6.79) 
上 述 参 考分 布 的 最 优选 择 方法 有 两 个 严重 缺陷 ， 首 先是 真实 分 布 p(x xi, z 386 76 
法 得 到 ， 其 次 是 积分 式 一 般 无 法 求解 。 因 此 ， 2:0 2 
q(x, lxi, m) sp(E, 514) (6. 80) 
代入 式 (6.75 ) 得 
w, -wi pz, |x) (6. 81) 


这 种 方法 直接 且 容 易 实 现 ， 但 没有 考虑 使 用 新 的 观测 值 。 由 于 实现 的 简易 性 ， 这 样 的 重要 性 
函数 选择 是 最 常用 的 。 
(2) 重 采 样 
重 采样 方法 的 基本 思想 是 通过 对 后 验 概率 密度 再 采样 N, 次 , 产生 新 的 支撑 点 集 
(x ) 必 |， 保留 或 复制 具有 和 较 大 权重 的 粒子 ， 崭 出 权重 较 小 的 粒子 ,使 得 原来 的 带 权 样本 
[xí Wo) | 映射 为 等 权重 样本 | xi.,;,，1AN} ， 这 样式 (6. 67) 变化 为 


Eg) 7 gp 2 Ga) (6.82) 








: 140 - 视线 追踪 





图 6.7 所 示 为 粒子 重 采 样 原理 示意 。t -1 时 刻 的 先 验 概率 由 寿 干 权 值 为 1XN 的 粒子 近 
似 表示 ， 重 采样 由 以 下 步骤 完成 : 


天 ]……N=10 
eo 





























È owo) 





imli 
m 








图 6. 7 





1) 经 过 系统 观测 后 ， 重 新 计算 粒子 的 权 值 UO, EGBEPEG 3c ba fe DA SET (ROMAE AE FS) 
子 ) 被 赋予 较 大 的 权 值 (图 6.7 中 面积 较 大 的 粒子 ) ， 而 偏离 实际 情况 的 粒子 ( 即 波 谷 处 的 粒 
子 ) 被 赋予 较 小 的 权 值 (图 6.7 中 面积 较 小 的 粒子 ) 。 

2) 重 采 样 过 程 中 ， 权 值 大 的 粒子 衍生 出 较 多 的 “后 代 ” 粒 子 ， 而 权 值 小 的 粒子 相应 的 
“后 代 ” 粒 子 也 较 少 ， 而 且 “ 后 代 ” 粒 子 的 权 值 被 重新 设置 为 1/N。 

3) 系统 状态 转移 过 程 ， 通 过 加 入 随机 量 预 测 每 个 粒子 在 上 时 刻 的 状态 。 

4) 守 时 刻 的 观测 过 程 ， 与 1) 一致， 并 且 通 过 若干 粒子 的 加 权 得 到 目标 状态 的 最 终 表 示 。 


6.2.2 基于 伪 彩 色 图 的 粒子 滤波 瞳孔 跟踪 方法 


在 视线 追踪 系统 摄取 的 人 脸 图 像 中 ， 由 于 头 部 运动 和 眼球 运动 的 随机 性 ， 很 难 用 一 种 准 
确 的 模型 描述 瞳孔 的 运动 规律 。 瞳 孔 运 动 属于 非 线 性 、 非 高 斯 问题 。 同 时 ， 由 于 配 戴 眼镜 、 
瞬 眼 和 闭 眼 等 情况 的 存在 ， 了 瞳孔 目标 存在 固有 的 遮挡 和 消失 问题 。 基 于 上 述 原 因 ， 采 用 卡尔 
曼 滤波 和 均值 漂移 对 瞳孔 目标 进行 跟踪 具有 一 定 的 局 限 性 。 

近年 来 ， 随 着 计算 能 力 的 快速 增长 和 计算 成 本 的 不 断 减 低 ， 粒 子 滤波 已 经 成 为 研究 非 线 
性 、 非 高 斯 动态 系统 最 优 估计 的 有 效 方法 。 粒 子 滤波 能 较 好 地 处 理 测 量 断 续 、 群 目标 跟踪 ， 
是 目标 跟踪 中 非 线性 问题 的 数学 支撑 工具 之 一 。 作 为 处 理 非 线 性 、 非 高 斯 问题 的 有 效 工具 ， 
粒子 滤波 可 以 用 于 视线 追踪 系统 瞳孔 目标 的 跟踪 ， 并 处 理 跟 踪 过 程 中 由 于 皮 眼 造成 的 瞳孔 目 
标 部 分 遮挡 问题 。 文 献 [8] 中 采用 粒子 滤波 对 虹膜 进行 跟踪 ， 该 方法 在 可 见 光 图 像 中 跟踪 虹 
膜 轮 廓 ， 采 用 和 迭代 的 最 大 似 然 法 进行 相似 度 的 度量 。 文 献 [9] 中 采用 粒子 滤波 对 瞳孔 进行 跟 
踪 ， 该 方法 在 近 红 外 图 像 中 跟踪 瞳孔， 采用 粒子 滤波 与 均值 漂移 相 结合 的 方法 进行 跟踪 。 首 
先 ， 通 过 粒子 滤波 估计 出 非 线 性 运动 的 瞳孔 区 域 , 但 是 这 个 区 域 是 若干 粒子 的 加 权 平 均 结 
果 ， 精 度 还 达 不 到 视线 估计 参数 的 要 求 。 接 下 来 ,利用 局 部 求 精 的 均值 漂移 方法 在 瞳孔 区 域 
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内 搜索 相似 度 最 高 的 瞳孔 位 置 ， 作 为 最 后 的 瞳孔 跟踪 结果 。 但 是 这 些 粒子 滤波 跟踪 方法 没有 
考虑 瞳孔 特有 的 形状 模型 和 运动 规律 。 存 在 以 下 不 足 : 

1) 参考 文献 中 没有 充分 考虑 瞳孔 目标 的 形状 特点 ,瞳孔 本 来 是 椭圆 形 区域 ,， 但 这 些 参 
考 文 献 的 跟踪 过 程 将 瞳孔 目标 设 定 为 矩形 的 区 域 ， 通 常 的 矩形 目标 模型 不 能 有 效 区 分 瞳孔 目 
标的 前 景 和 背景 。 

2) 参考 文献 中 没有 考虑 椭圆 瞳孔 目标 的 形状 变化 特点 ， 没 有 对 瞳孔 曲率 和 方向 进行 跟 
踪 。 

3) 在 瞳孔 目标 观测 模型 中 ， 只 采用 直方 图 属性 作为 相似 性 的 度量 指标 ， 没 有 考虑 将 几 
何 特性 作为 相似 度 指 标 。 

在 基于 亮 暗 瞳 差分 方案 的 视线 追踪 系统 中 ， 瞳 孔 目 标的 实时 跟踪 除 需 满足 前 文 所 述 的 瞳 
孔 跟 踪 要 求 ， 还 需 充 分 利用 亮 瞳 和 暗 瞳 两 个 通道 的 图 像 信息 ， 才 能 增加 系统 跟踪 的 可 靠 性 和 
稳定 性 。 基 于 伪 彩 色 图 的 粒子 滤波 瞳孔 跟踪 方法 充分 利用 了 系统 所 提供 的 亮 瞳 图 像 和 暗 瞳 图 
像 信息 ， 提 出 了 三 通道 伪 彩 色 图 的 概念 ， 为 瞳孔 的 可 靠 跟踪 提供 了 新 的 依据 。 总 结 起 来 ， 基 
于 伪 彩 色 图 的 粒子 滤波 瞳孔 跟踪 方法 的 工作 主要 体现 在 如 下 几 个 方面 : 

1) 利用 亮 暗 有 瞳 现 象 ， 提 出 三 通道 伪 彩 色 图 (Triple Channel Pseudo Color Map, TCPCM) 的 









































概念 ， 并 将 其 引入 瞳孔 跟踪 过 程 。TCPCM 充分 利用 
了 各 通道 信息 ,并且 TCPCM 中 瞳孔 特征 更 加 明显 ， 
瞳孔 区 域 的 色彩 明显 与 人 脸 其 他 部 位 不 同 ， 提 高 了 


跟踪 的 稳定 性 与 精确 性 。 


2) 采用 了 一 种 符合 瞳孔 形态 特征 和 变化 规律 
ij 








的 瞳孔 目标 模型 ， 可 以 充分 区 分 瞳孔 图 像 的 前 景 一 
背景 ， 减 小 了 背景 对 目标 模型 的 干扰 。 





3) 采用 了 -种 体现 瞳孔 运动 规律 的 瞳孔 运动 i 
模型 ， 充 分 考虑 了 瞳孔 状态 变化 的 各 种 情况 ， 对 瞳 
孔 的 位 置 和 形状 都 能 进行 有 效 的 预测 。 是 

4) 采用 了 一 种 结合 直方 图 相似 性 与 几何 相似 
性 度量 相 结合 的 二 次 更 新 的 瞳孔 感知 模型 。 在 相似 
度 计算 中 提高 了 粒子 权重 的 可 信 性 ， 改 善 了 观测 的 




















可 信 度 。 TI 
5) 针对 实时 性 要 求 ， 引 入 了 快速 特征 提取 步 T 
又 ,减少 特征 提取 的 时 间 ， 提 高 特征 提取 的 可 千 


性 。 


6) 针对 长 时 间 瞳 孔 跟 踪 的 要 求 ， 引 入 阶段 跟 














踪 的 概念 。 这 改善 了 目标 状态 漂移 和 粒子 贫 化 的 问 通 孔 估计 
题 ， 提 高 了 跟踪 的 鲁 棒 性 。 更 新 | 是 否 
ORE EAS Er n ; 通 
基于 伪 彩 色 图 粒子 滤波 的 视线 追踪 系统 瞳孔 跟 ni O 


踩 流 程 如 图 6. 8 所 示 。 
首先 ,记录 上 一 帧 特征 提取 所 得 到 的 瞳孔 区 图 6.8 基于 伪 彩 色 图 粒子 滤波 的 
域 ， 根 据 上 一 帧 对 应 区 域 的 像素 计算 粒子 滤波 跟踪 
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目标 模型 。 接 下 来 ， 在 上 一 帧 瞳孔 位 置 的 附近 去 搜索 瞳孔 ， 如 果 搜索 到 瞳孔 则 不 需要 再 进行 
比较 耗 时 的 粒子 滤波 跟踪 ， 若 搜索 不 到 瞳孔 则 进行 粒子 滤波 跟踪 。 粒 子 滤波 跟踪 首先 要 初始 
化 若干 粒子 ， 然 后 根据 状态 转移 方程 对 每 个 粒子 进行 本 时 刻 的 状态 转移 ， 形 成 本 时 刻 的 粒子 
集合 。 接 下 来 ， 对 状态 转移 后 的 粒子 集合 中 的 每 个 粒子 进行 相似 度 计 算 ， 根 据 每 个 粒子 的 状 
态 和 相似 度 ， 计 算 粒 子 集合 的 加 权 平 均值 ， 作 为 本 次 估计 的 瞳孔 位 置 。 本 次 估计 的 瞳孔 位 置 
作为 下 一 帧 瞳孔 估计 的 目标 模型 。 以 下 对 基于 伪 彩 色 图 的 粒子 滤波 瞳孔 跟踪 方法 进行 详细 闸 
6.2.2.1 基于 伪 彩 色 图 的 粒子 滤波 瞳孔 跟踪 方法 
1. 瞳孔 特征 参数 提取 
以 瞳孔 定位 为 基础 的 视线 特征 参数 提取 过 
程 ， 是 在 相 邻 两 帧 图 像 中 完成 的 。 在 初始 帧 对 
瞳孔 目标 检测 后 ， 在 后 续 序 列 视频 中 对 瞳孔 目 
标 进行 跟踪 。 瞳 孔 目标 的 特征 参数 检测 方法 已 
经 在 本 书 第 5 章 中 进行 了 详细 的 介绍 ， 粒 子 滤 
波 瞳 孔 跟 踪 需 在 图 像 序列 的 初始 图 像 帧 采用 各 
种 瞳孔 目标 检测 方法 检测 瞳孔 ， 并 进行 跟踪 初 
始 化 。 基 于 伪 彩 色 图 粒子 滤波 瞳孔 跟踪 方法 采 
用 本 书 5.2 节 曾 述 的 瞳孔 目标 检测 方法 进行 略 。 ，， | 
孔 目标 特征 参数 提取 ， 瞳 孔 检测 成 功 则 完成 跟 
踪 初始 化 ， 检 测 失败 则 检测 下 一 帧 ， 直 至 成 功 。 
在 此 ， 对 瞳孔 目标 特征 参数 检测 方法 进行 
简要 的 描述 ， 如 图 6.9 所 示 ， 首 先 ， 亮 瞳 与 暗 
暗 图 像 相 减 得 到 差分 图 像 。 然 后 ， 对 差分 图 像 a 
进行 滤波 ， 得 到 瞳孔 区 域 。 检 测 瞳 孔 区 域 的 边 | 
缘 ， 得 到 瞳孔 边缘 图 像 并 在 眼睛 区 域 附近 基于 
灰 度 搜索 角膜 反射 点 。 采 用 求 质心 方法 定位 角 f. 
BA, EWALD eann | 
角膜 反射 对 瞳孔 边缘 轮廓 的 影响 。 最 后 ， 采 用 
椭圆 拟 合 方法 拟 合 瞳 孔 边 缘 并 定位 瞳孔 中 心 ， ^ 


























得 到 亚 像素 的 瞳孔 中 心 坐标 。 最 后 提取 的 视线 

特征 矢量 元 WF: mane | 
质心 

De (s. je» Bb 
^ am 

XB, (Ax, Ay) =p;; -Pij ， 为 瞳孔 中 心 到 角膜 

反射 的 矢量 ，&ee 为 瞳孔 本 加 长 外 和 短 负 之 比 ， clio | 

9 Ju RTL c9 3E EAT T f RE, G, j) "n 


为 瞳孔 中 心 在 图 像 中 的 位 置 坐 标 ，(i.，j.) 为 角 | 
膜 反射 在 图 像 中 的 位 置 坐标 。 FORI" AANEEN e 
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2. 快速 瞳孔 特征 参数 提取 

跟踪 过 程 仍 需 进行 特征 参数 提取 ， 在 t 时 刻 成 功 进行 特征 参数 提取 后 ，t +1 时 刻 首先 在 
t 时 刻 瞳孔 位 置 的 附近 进行 特征 参数 提取 ， 如 果 不 成 功 则 加 大 搜索 范围 。 这 样 可 以 提高 特征 
参数 提取 的 效率 。 引 入 快速 特征 提取 步 绝 ， 有 以 下 作用 : 

1 ) 减 少 平均 特征 参数 提取 时 间 。 因 为 人 在 正常 注视 屏幕 信息 的 情况 下 ， 了 眼睛 运动 幅 
较 小 ， 绝 大 多 数 的 情况 下 都 可 以 在 上 一 时 刻 眼 睛 的 附近 找到 这 一 时 刻 的 眼睛 。 

2) 如 快速 特征 提取 成 功 ， 则 记录 目标 模型 ， 并 进行 下 一 时 刻 的 快速 特征 提取 ; 如 不 成 
功 ， 则 进入 一 次 新 的 阶段 跟踪 ， 并 在 阶段 跟 踊 过 程 中 监测 特征 是 否 出 现 ， 当 特征 再 次 出 现 的 
时 候 结束 这 次 阶段 跟踪 。 这 样 将 长 时 间 的 跟踪 分 为 快速 特征 提取 和 阶段 跟踪 两 个 交替 进 行 的 
阶段 ， 目 标 稳定 的 阶段 由 快速 特征 提取 来 处 理 ， 计 算 复 杂 度 较 高 的 粒子 滤波 用 来 跟踪 目标 不 
稳定 的 阶段 ， 提 高 了 系统 的 效率 。 

3 ) 将 最 近 一 次 成 功 提取 特征 时 的 目标 状态 作为 每 个 阶段 跟踪 的 目标 ， 提 高 了 目标 的 可 
靠 性 ， 避 免 了 长 时 间 跟 踊 的 目标 状态 漂移 ， 提 高 了 跟踪 的 准确 性 。 

4) 将 长 时 间 的 跟踪 分 为 快速 特征 提取 和 阶段 跟踪 两 个 交替 的 阶段 ， 进 入 一 次 新 的 阶段 
跟踪 ， 重 新 初始 化 粒子 ， 避 免 了 长 时 间 跟 踪 的 粒子 贫 化 问题 ， 提 高 了 跟踪 的 鲁 棒 性 。 

3. 记录 TCPCM 瞳孔 模型 

基于 三 通道 伪 彩 色 图 (TCPCM ) 的 瞳孔 跟踪 方法 的 主要 创新 之 处 在 于 提出 了 三 通道 伪 彩 
色 图 的 概念 ，TCPCM 定义 如 下 : 

TCPCM = ip; |p'y= pb; A 人 py= pd; Mp'y= blob,| (6. 84) 

式 中 ， Ps Ps pj 分别 为 TCPCM 的 三 个 通道 
上 的 像素 点 ，pb; 为 亮 瞳 图 像 的 像素 点 ，phb; 为 
并 瞳 图 像 的 像素 点 ，blob, 为 差分 图 像 滤 波 后 
瞳孔 图 像 的 像素 点 。 三 通道 伪 彩 色 图 ， 如 图 
6. 10 所 示 。 瞳 孔 的 灰 度 图 像 与 脸 部 其 他 特征 
点 的 灰 度 比较 相近 ， 特 征 不 明显 ， 区 分 度 较 
低 。TCPCM 充分 利用 了 各 通道 信息 ， 使 瞳孔 
特征 较 明 显 ， 有 瞳孔 区 域 的 色彩 明显 与 人 脸 其 他 
部 位 不 同 ， 提 高 了 跟踪 的 稳定 性 与 精确 性 。 

当 特 征 参数 提取 成 功 时 ， 记 录 目 标 模型 。 
我 们 根据 瞳孔 的 形态 特征 和 运动 特征 ， 采 用 一 
种 适用 于 跟踪 的 瞳孔 模型 BTLARGS X, 由 9 个 状态 变量 描述 : 


X, = (6,6, 0 issus PU, „v,a ,0) (6. 85) 
IP, c, c, AEEFLR DIRI P ĠO; auus, ausu Z9 REECTLATG LB HRS Jd Al; 9 为 瞳孔 椭圆 长 轴 


与 垂直 方向 的 角度 ; v, v, 为 瞳孔 椭圆 分 别 在 x 和 y 方 向 的 运动 速度 a 为 瞳孔 椭圆 尺度 的 
变化 率 ; 6 为 瞳孔 椭圆 角度 9 的 变化 率 。 记 录 目 标 时 ，c,，c,，aww，awiww，9 已 经 在 特征 


参数 提取 环节 中 得 到 ; v,，v,，a , 0 初始 设置 为 零 。 有 瞳孔 初 始 状态 如 图 6. 11 所 示 。 
计算 目标 区 域 X 的 加 权 直 方 图 九 ,， 颜 色 特 征 对 于 非 刚体 运动 目标 变形 、 旋 转 、 尺 度 变 
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图 6.10 TCPCM 
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| dull 
-(216.95,301.90) 
长 轴 =23.70 
短 轴 =22.59 
方向 =66.62 








| 中 心 坐标 
=(337.12 296.14) 
长 轴 =24.06 

短 轴 =23.10 


方向 =113.98 




















图 6.11 瞳孔 初始 状态 直方 图 
化 具有 一 定 的 鲁 棒 性 和 持续 性 。 利 用 Epanechnikov 核 函 数 可 有 效 突出 不 同位 置 的 像素 对 颜色 
直方 图 的 不 同 贡 献 。 位 于 瞳孔 目标 中 央 的 区 域 贡 献 最 大 ， 而 边缘 区 域 可 能 包含 背景 ， 所 以 下 
献 最 小 。 
相似 性 采用 d(4) = (E) + (SA) 作为 距离 度量 指标 ， 称 为 “等 灰 度 线 距 离 "。 
a major Qs 


minor 


它 可 以 作为 衡量 瞳孔 像素 点 重要 性 加 权 的 依据 ，d(x ) 越 小 像素 权 值 越 大 。d(x) 相同 的 点 构 
成 一 条 椭圆 曲线 ,该 曲线 上 的 点 具有 相同 的 灰 度 值 。 瞳 了 筷 椭 圆 轮 廊 线 的 d(x) SET 1, 向 瞳孔 
中 心 点 方向 d(x) 逐渐 减 小 ， 直 至 d(x) =0 时 ， 等 灰 度 线 为 瞳孔 椭圆 中 心 点 。 瞳 和 孔 初始 状态 
直方 图 如 图 6. 12 所 示 。 
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瞳孔 目标 直方 图 
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图 6.12 瞳孔 直方 图 




















4. 跟踪 初始 化 
粒子 滤波 跟踪 首先 要 初始 化 若干 粒子 ， 所 有 粒子 构成 粒子 滤波 估计 所 需要 的 粒子 集合 。 
每 个 粒子 包括 粒子 状态 和 粒子 权重 两 部 分 ,粒子 状态 反映 粒子 的 位 置 、 形 状 、 大 小 、 速 度 等 
信息 ， 粒 子 权重 反映 粒子 与 目标 模型 的 匹配 程度 。 初 始 化 的 粒子 集合 中 的 粒子 状态 一 般 成 正 
态 分 布 ， 粒 子 权重 为 均值 分 布 。 
初始 化 粒子 状态 为 
STATES, , = Í(state? ,,7;,) |state, = X, + Vama = 1/N] (6. 86) 
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STATES, | 为 粒子 集合 ，( state” | ，m"_ 1) 为 每 个 粒子 的 状态 和 权 值 ，V,_; 为 噪声 和 失 量 。 
STATES,_, 如 图 6. 13a 所 示 。 

5. 选择 

随 着 粒子 滤波 佑 计 的 不 断 迭 代 过 程 ， 粒 子 集合 中 会 有 一 些 粒子 的 权重 越 来 越 小 。 这 些 粒 
子 对 目标 状态 估计 的 作用 也 越 来 越 小 ， 仅 剩 下 少数 的 权重 较 大 的 粒子 对 最 后 的 目标 估计 起 作 
用 。 由 于 参与 加 权 平 均 的 粒子 越 来 越 少 ， 加 权 平 均 估 计 的 精度 会 越 来 越 差 。 为 了 避免 这 种 现 
象 ， 一 般 采 用 在 粒子 集合 中 重新 抽取 等 量 粒子 的 方法 。 权 重 较 大 的 粒子 可 以 被 抽取 多 次 ， 权 
重 很 小 的 粒子 被 淘汰 。 

从 STATES, | 中， 按照 权 值 分 布 ， 随 机 选择 出 NN 个 状态 ， 构 成 STATES,_,。 权 重 越 高 的 
粒子 被 选中 的 机 会 越 大 ， 往 往 被 重复 选择 ， 而 权重 低 的 粒子 在 选择 过 程 中 被 淘汰 。 

STATES, , = (state, , $) |state, ~ STATES, | (6. 87) 

6. 瞳孔 运动 模型 建立 

粒子 集合 中 的 每 个 粒子 的 状态 是 随 着 时 间 变 化 的 ， 上 一 时 刻 的 粒子 集合 不 能 反映 本 时 刻 
的 目标 状态 ， 所 有 必须 要 对 上 一 时 刻 的 粒子 集合 中 的 每 一 个 粒子 进行 状态 转移 。 根 据 状 态 转 
移 方程 对 粒子 集合 中 所 有 粒子 进行 状态 转移 ， 得 到 本 时 刻 的 粒子 集合 。 

瞳孔 运动 模型 的 建立 ， 应 充分 考虑 瞳孔 状态 变化 的 各 种 情况 ， 瞳 孔 状 态 state 运动 规律 
如 下 : 上 时 刻 瞳孔 椭圆 中 心 位 置 等 于 上 -工时 刻 的 瞳孔 椭圆 中 心 位 置 与 瞳孔 运动 位 移 之 和 ，: 
时 刻 的 瞳孔 椭圆 的 长 轴 ( 或 短 轴 ) 等 于 上 -1 时 刻 的 长 轴 ( 或 得 轴 ) 与 椭圆 尺度 变化 之 和 ，t 时 
刻 瞳 孔 椭圆 长 轴 与 垂直 方向 的 角度 等 于 上 — 1 时 刻 的 角度 与 角度 变化 之 和 ， 其 他 状态 变量 不 
变 。 对 粒子 状态 进行 预测 时 ， 要 将 噪声 矢量 考虑 在 内 。 由 此 可 以 得 到 瞳孔 运动 方程 为 


















































STATES, = 1(state" ,路 ) |state? = Astate”, +t Ve} (6.88) 
1000040 0 0 
010000A 0 0 
001000 0 a, 0 
000100 0 an 0 
其 中 4=|000010 0 0 6 
00000 1 0 0 0 
000000 1 0 0 
0000000 1 0 
000000 0 0 1 

根据 瞳孔 运动 方程 对 粒子 状态 进行 预测 ， 得 到 新 时 刻 的 粒子 集合 STATES,, ， 如 图 6. 13b 





所 示 。 

7. 瞳孔 感知 模型 的 建立 

建立 瞳孔 感知 模型 ， 将 更 新 过 程 分 为 两 个 阶段 ， 即 基于 TCPCM 直方 图 相似 性 更 新 阶段 
和 基于 几何 相似 性 更 新 阶段 。 

首先 ， 对 每 个 粒子 的 加 权 直 方 图 进行 计算 ， 直 方 图 越 相 似 ， 权 重 就 越 高 。 计 算 每 个 粒子 
的 直方 图 及 sw 并 根据 直方 图 计算 每 个 粒子 的 权重 m; 为 
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a) STATES -1 b) STATES; 


图 6.13 STATES, , $j STATES 
A -P Hstatep Hx, 42) 
Tecta e (6. 89) 
V/2ma 
然后 ， 对 每 个 粒子 的 几何 相似 度 进行 计算 ， 从 而 更 新 每 个 粒子 的 权重 。 其 几何 相似 度 越 
高 ， 权 重 就 越 高 。 几 何 相 似 度 PCstate*， 忒 -根据 椭圆 的 长 短 轴 大 小 及 旋转 角度 计算 ， 有 


state? D PN. state? P. state? dec 
abs(ajjs — Gu)  abs(an,. — Outih) | abs(a, ^ — ag) 


major minor 
X, 
red 
a 


minor ? ^ minor 














p(state; ,X,) 21 - ERO 
max(a a max(a 


major ? “major 


state} 


max( a aol) 

(6. 90) 
形状 位 置 完全 相同 的 两 个 椭圆 目标 相似 度 为 1， 随 着 目标 差异 度 的 增 大 ， 相 似 度 趋 近 于 0， 
几何 相似 度 计算 示意 图 如 图 6. 14 所 示 。 
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state. — Yj. state? _ Xj. 
max (A major -a majar) abs (major —a jr) 
a) 长 轴 相 似 度 
n 
state 7 Ai n 
| max(ag ^ -ag ) abs (a*t -gdt-1y 
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state ? Ail state Xt-1 Speo) 
abs (a minor — 4 minor) max (a minor ^ minor) 


b) 短 轴 相 似 度 c) 角度 相似 度 





图 6.14 几何 相似 度 计算 示意 图 
根据 几何 相似 度 p( state”, X, ) 更 新 每 个 粒子 的 权重 ， 有 
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1 (1-p( Hstatep, X1-1)) 
T= Tm e 202 (6.91) 
/2T0 
权重 如 图 6. 15 所 示 ， 粒 子 权 重大 于 0.01 的 粒子 如 图 6.16 所 示 。 
粒子 权重 

1.0 

0.9L T 

0.8. 











07 上 
0.6 上 
V 05 T 
Eo 
0.4 上 
03 上 
02L 
@ 中 
0.14 : 
| ANM 


0.5 10 15 20 25 30 35 40 45 S 
粒子 


图 6.15 粒子 权重 图 6.16 STATES, 





8. 估计 
对 目标 状态 进行 估计 ， 有 
> Tm state? 
E(X) = 一 一 (6.92) 
> 


计算 估计 目标 的 直方 图 Haa EAE pU ,五 ，) ， 最 后 计算 概率 权重 m^. W E 
标的 概率 权重 re 大 于 阔 值 ry， 则 认为 跟踪 成 功 ， 按 照 更 新 比例 a 更 新 目标 状态 。 如 果 估 计 
目标 的 概率 权重 re 不 大 于 阔 值 r ， 则 认为 跟踪 失败 ， 不 更 新 目标 状态 。 跟 踪 结果 如 图 6. 17 


所 示 。 





中 心 坐标 
=(216.93 , 301.82) 
长 轴 =23.73 
短 轴 =22.61 

方向 =66.59 








中 心 坐 标 
-(537.11,296.12) 
长 轴 =24.03 
短 轴 =23.12 
方向 =113.96 














图 6.17 跟踪 结果 
6.2.2.2 ”粒子 滤波 瞳孔 跟踪 方法 步骤 
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(1) 特征 参数 提取 





aior 
L, T (Ax, Ay, — 7-0. i, ,7.) 


A minor 


(2) 记 录 TCPCM 瞳孔 模型 


X, = DO AS ullos Ominor DU utis a ,0 ) 

(3) 快 速 特征 参数 提取 
参数 提取 过 程 计 算 机 程序 如 下 : 
do 
PiclPart, = |p; | p; € Picl, A( dp, ) (Pp € BLOB, , A || p; ^ p,, l| S&thres) | 
Pic2Part, = | p; | p; € Pic2, A( dp, ) (Pp € BLOB, , A || p; -Ppa | &thres) | 
if Feature extraction = = true 

break 


else 





thres = thres x 2 


end 
until Picl Part, = = Picl, and Pic2Part, = = Pic2, 
(4) 跟 踪 初 始 化 
1) 计 算 目 标 直 方 图 
Hy = (ALIA, = SX ECAC) (hr) - u) | 
xeX, 
2) 初 始 化 粒子 状态 
STATES, , = {(state" mi) |state? , = X, + V, TI = 1/N} 
(5) 选择 





从 STATES, ,中 ,按照 权 值 分 布 随 机 选择 出 个 状态 ， 构 成 STATES 10 
STATES, , = ((state/,, 9) |state^, ~ STATES, ,| 

(6) 瞳孔 运动 模型 

建立 瞳孔 运动 方程 为 
STATES, - | state] ,$) | state? — Aste T7. | 


根据 瞳孔 运动 方程 对 粒子 状态 进行 预测 ， 得 到 新 时 刻 的 粒子 集合 STATES, 
(7) 瞳孔 观测 模型 

1) 根 据 直方 图 及 ,计算 每 个 粒子 的 权重 m7. 

2) 根 据 几 何 相似 度 p( state? X, ) 更 新 每 个 粒子 的 权重 m; 

(8) 瞳 孔 估计 

1) 对 目标 状态 ECX,) 进行 估计 。 

2) 计算 概率 权重 m^. 

(9) 更 新 瞳孔 模型 

程序 如 下 : 
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ifm.» 

X,2(1-oa)X, , * aE(CX,) 
else 

X, =X, 
end 


6.2.3 实验 结果 与 分 析 


1. 瞳孔 跟踪 结果 

由 于 瞳孔 跟踪 是 视线 追踪 系统 的 共性 问题 ， 要 求 系统 在 不 同 的 情况 下 都 能 有 效 地 进行 瞳 
和 孔 跟踪 。 为 了 验证 基于 伪 彩 色 图 粒子 滤波 的 瞳孔 跟踪 方法 的 效果 ， 对 10 位 使 用 者 进行 了 实 
验 。 实 验 在 室内 进行 ， 不同 使 用 者 测试 的 环境 不 相同 ， 包 括 白 天 、 晚 上 ， 晴 天 、 阴 天 ， 室 内 
照明 灯 开 和 关 ， 以 及 有 无 其 他 强 光 源 干 扰 等 各 种 光线 情况 ， 每 次 实验 分 别 记录 每 位 使 用 者 
1000 帧 的 跟踪 结果 。 图 6. 18 所 示 为 不 同 使 用 者 各 种 头 部 位 置 分 别 在 163 、246 、648 、895 帧 
的 瞳孔 跟踪 结果 。 可 以 看 到 ， 即 使 在 头 部 转动 明显 的 情况 下 ， 上 述 的 瞳孔 跟踪 方法 也 能 有 效 
地 跟踪 瞳孔 并 提取 相关 眼睛 参数 。 

























































































图 6.18 不 同 头 部 位 置 的 眼睛 跟踪 及 参数 提取 
图 6. 19 所 示 为 不 同 使 用 者 在 是 眼 的 情况 下 分 别 在 156, 237, 665, 876 帧 的 跟踪 结 
可 以 看 到 在 上 妈 眼 的 情况 下 ， 上 述 方法 也 能 有 效 地 跟踪 瞳孔 。 在 头 部 大 范围 移动 或 长 时 间 闭 眼 
造成 瞳孔 丢失 的 情况 下 需要 重新 对 瞳孔 进行 全 局 捕捉 ， 而 当 瞳 孔 重 新 出 现时 可 以 立即 捕捉 到 























瞳孔 。 

图 6. 20 所 示 为 不 同 使 用 者 在 佩戴 眼镜 的 情况 下 分 别 在 172, 236, 629, 965 帧 的 跟踪 结 
果 。 可 以 看 到 ， 即 使 在 镜片 反光 情况 下 ， 只 要 反光 不 遮盖 瞳孔 ， 上 述 方法 也 能 有 效 地 跟踪 眼 
睛 并 提取 眼睛 参数 。 
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图 6. 20 佩戴 眼镜 情况 下 的 眼睛 跟踪 及 参数 提取 





图 6. 21 所 示 为 不 同 使 用 者 在 光照 明显 变化 的 情况 下 分 别 在 193, 223, 645, 942 帧 的 跟 
踪 结 果 。 可 以 看 到 ， 即 使 在 外 部 光源 近 距 离 照 射 人 脸 情 况 下 ， 只 要 人 脸 反 光 不 完全 遮盖 瞳 
孔 ， 上 述 方 法 仍 能 有 效 地 跟踪 瞳孔 并 提取 眼睛 参数 。 同 样 ， 即 使 在 外 部 光源 进入 摄像 机 拍摄 
范围 的 情况 下 ， 只 要 光源 本 身 不 完全 遮盖 瞳孔 ， 上 述 方法 也 能 有 效 地 跟踪 眼睛 并 提取 眼睛 参 

2. 实时 性 分 析 

对 三 种 用 于 视线 追踪 系统 的 瞳孔 跟踪 方法 在 处 理 需 为 Core2 2.16, NEX 2G 计算 机 上 
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图 6.21 








光照 明显 变化 情况 下 的 眼睛 跟踪 及 参数 提取 

















的 VC + +6.0 环境 下 测试 。 用 于 测试 的 1000 帧 跟踪 序列 分 为 三 种 情况 。 图 像 分 辨 率 760 x 
576 像素 。 其 中 ，635 帧 为 正常 瞳孔 稳定 图 像 ，386 帧 为 电眼 等 瞳孔 部 分 遮挡 图 像 ，28 帧 为 
长 时 间 闭 眼 造成 瞳孔 目标 消失 的 图 像 。 

实验 结果 统计 见 表 6. 1， 可 以 看 到 ， 基 于 TCPCM 粒子 滤波 的 跟踪 方法 的 瞳孔 跟踪 精确 
达到 很 好 的 鲁 棱 性 。 尤 其 是 在 肯 上 腿 、 闭 眼 等 目标 遮挡 甚至 消失 的 情况 ,仍然 
可 以 较 好 地 跟踪 瞳孔 目标 。 该 方法 的 瞳孔 平均 定位 时 间 为 18ms/ 幅 ， 与 参考 文献 [1，9 ] 方 法 


率 为 98. 696 , 


相 比 ， 在 提高 跟踪 精确 率 的 同时 保证 了 跟踪 速度 。 因 为 采用 有 选择 的 粒子 滤波 ， 在 瞳孔 目标 

















稳定 的 情况 下 不 必 采 用 耗 时 的 粒子 滤波 跟踪 。 所 以 相 比 于 参考 文献 [9] 中 全 程 采用 粒子 滤波 
算法 ， 其 平均 跟踪 时 间 明 显 减 少 。 














表 6.1 三 种 方法 定位 率 和 定位 时 间 比 较 


















































参数 参考 文献 [1] 所 述 的 方法 参考 文献 [9] 所 述 的 方法 TCPCM 方法 
正常 iz HR 闭 眼 正常 Rz HR 闭 眼 正常 Rz HR 闭 眼 
测试 图 像 分 类 635 386 28 635 386 28 635 386 28 
测试 图 像 数量 626 360 7 629 378 13 634 382 19 
精确 跟踪 数量 | 98.58 93. 26 25. 00 99. 06 97. 93 46. 43 99. 84 98. 96 67. 86 
成 功率 94. 66% 97. 2490 98. 67% 
平均 定位 时 间 28ms/ li 36ms/ li 18 ms/ lii 














因为 使 用 者 在 正常 注视 屏幕 信息 的 情况 下 ， 眼 睛 运动 幅度 较 小 ， 大 多 数 的 情况 下 都 可 以 
在 上 一 时 刻 眼 睛 位 置 的 附近 找到 这 一 时 刻 的 眼睛 位 置 。 从 表 6. 2 可 以 看 出 ， 由 于 快速 特征 提 
取 处 理 了 大 部 分 的 情况 ， 提 高 了 平均 跟踪 速度 。 计 算 复 杂 度 较 高 的 粒子 滤波 用 来 跟踪 目标 不 


稳定 的 阶段 ， 只 有 在 初始 定位 和 目标 丢失 的 情况 下 才 使 用 初始 目标 检测 。 
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表 6.2 本 文 方法 跟踪 过 程 参 数 比 较 





























过 程 目标 检测 快速 特征 提取 粒子 滤波 
处 理 次 数 1 帧 初始 定位 + 28 帧 丢失 重 检 634 帧 稳定 情况 386 帧 电眼 情况 
精确 跟踪 数量 1+19 633 382 
成 功率 68. 9% 99. 8% 98. 996 
平均 执行 时 间 35ms/ 帧 8ms/ lvi 30ms/ Ilii 
3. 跟踪 性 能 分 析 
下 面 对 三 种 用 于 视线 追踪 系统 的 瞳孔 跟踪 方法 进行 对 比 。 用 于 测试 的 跟踪 序列 分 为 两 


组 ， 每 组 1000 帧 连续 图 像 ， 分 别 为 使 用 者 8 在 正常 情况 下 和 佩戴 眼镜 的 情况 下 采集 的 。 采 
集 图 像 时 ， 头 部 基本 静止 ， 然 后 逐渐 运动 ， 逐 渐 加 大 运动 幅度 和 速度 ， 图 像 分 辨 率 为 760 x 
576 像素 。 实 验 环境 是 在 为 多 云 的 白天 在 室内 正常 痰 光 灯 照明 ， 无 其 他 强 光 源 干 扰 。 

对 以 上 两 个 测试 序列 ， 图 6. 22 给 出 了 跟踪 结果 中 心 点 与 目标 真实 中 心 点 之 间 的 方 均 根 
误差 (Root of Mean Square Error, RMSE)。 其 中 ， 真 实 位 置 采用 手工 逐 帧 标定 。 如 图 6.22 所 
示 ， 可 得 到 如 下 结论 : 
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图 6.22 瞳孔 中 心 点 位 置 方 均 根 误差 
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1) 最 初 ， 头 部 运动 速度 较 小 的 情况 下 ， 三 种 算法 都 能 正确 跟踪 目标 。 

2) 随 着 跟踪 的 进行 , 参考 文献 [1，9] 中 的 方法 虽 仍 能 跟踪 目标 一 段 时 间 ， 但 结果 已 明显 
不 准确 。 而 基于 TCPCM 粒子 滤波 的 瞳孔 跟踪 方法 ， 在 整个 跟踪 过 程 中 都 能 一 直 保持 对 有 眼睛 
的 稳定 跟踪 能 力 。 

3 ) 在 使 用 者 佩戴 眼镜 的 情况 下 ， 参 考 文献 [1，9] 中 的 方法 虽 仍 能 跟踪 目标 ， 但 结 
RMSE 明显 增 大 。 而 TCPCM 粒子 滤波 方法 在 使 用 者 佩戴 眼镜 的 情况 下 ， 能 保持 对 瞳孔 的 稳 
定 跟 踪 ，RMSE 未 见 明 显 增 大 。 

4) 相对 于 参考 文献 [1] 中 组 合 卡尔 曼 滤波 与 均值 漂移 的 方法 和 参考 文献 [9] 中 的 粒子 滤 
波 方法 ，TCPCM 粒子 滤波 方法 能 更 为 准确 和 稳定 地 跟踪 目标 ， 其 跟踪 结果 与 目标 真实 位 置 
的 误差 最 小 ， 完 全 能 满足 实时 视线 追踪 对 眼睛 跟踪 的 精度 要 求 。 

对 以 上 两 个 测试 序列 ， 图 6. 23 给 出 了 跟踪 过 程 中 三 种 算法 的 目标 模型 与 真实 目标 模型 
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图 6.23 ”目标 模型 BHC 对 比 
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的 Bhattacharyya 系数 (Bhattacharyya Coefficient, BHC) 对 比 。 真 实 目 标 模 型 采用 手工 逐 帧 标定 
并 计算 。 由 于 BHC 反映 了 两 个 概率 分 布 的 匹配 程度 ， 因 此 如 果 每 帧 中 所 采用 的 目标 模型 与 
真实 模型 越 接近 ， 则 最 终 算法 将 越 具 有 更 好 的 跟踪 能 力 和 定位 精度 。 由 图 可 见 ， 参 考 文献 
[1] 中 的 方法 与 真实 目标 模型 的 差异 很 快 变 大 ， 最 终 导致 目标 丢失 。 参 考 文献 [9] 中 的 方法 
在 后 期 目标 与 背景 直方 图 混杂 的 时 候 ， 所 采用 的 目标 模型 与 真实 模型 的 差异 也 将 很 快 变 大 ， 
从 而 丢失 目标 。 而 TCPCM 粒子 滤波 方法 在 整个 跟踪 过 程 中 ， 都 能 较为 准确 地 更 新 目标 模型 ， 
具有 与 真实 目标 模型 最 为 接近 的 匹配 度 ， 因 此 具有 最 好 的 跟踪 性 能 。 这 一 分 析 和 结论 也 与 前 
面 的 实际 跟踪 过 程 完 全 吻合 。 




















6.3 ”粒子 滤波 和 卡尔 曼 滤 波 组 合 的 瞳孔 跟踪 方法 


在 序列 图 像 中 ， 目 标 跟踪 的 目的 有 两 个 : 一 是 先 跟踪 后 检测 ， 即 先 由 跟踪 算法 确定 目标 
的 位 置 ， 再 在 跟踪 的 区 域 对 目标 进行 精细 分 割 和 检测 ;二 是 先 检测 后 跟踪 ， 即 利用 历史 信息 
通过 跟踪 算法 对 检测 得 到 的 目标 参数 进行 估计 ， 以 期 获得 更 精确 稳定 的 目标 参数 。 前 文 所 述 
的 基于 粒子 滤波 和 卡尔 曼 滤波 的 瞳孔 目标 跟踪 ， 都 是 面向 瞳孔 目标 的 快速 检测 。 即 在 相 邻 的 
视频 序列 中 ， 通 过 对 瞳孔 目标 的 跟踪 ， 确 定 瞳孔 目标 的 位 置信 息 。 在 此 位 置 附近 还 需 对 瞳孔 
进行 精细 分 割 ， 才 能 获得 瞳孔 的 特征 参数 和 视线 参数 。 这 种 跟踪 属于 先 跟踪 后 检测 ， 可 以 避 
免 在 每 一 帧 全 局 图 像 中 检测 瞳孔 ， 提 高 了 系统 瞳孔 检测 的 实时 性 。 粒 子 滤波 和 卡尔 曼 滤 波 组 
合 的 瞳孔 目标 跟踪 方法 则 是 面向 快速 检测 和 精确 检测 的 组 合 。 这 种 方法 的 基本 思想 : 由 于 人 
脸 和 瞳孔 运动 的 随机 性 ， 很 难 用 准确 的 模型 来 描述 瞳孔 运动 规律 ， 因 此 在 瞳孔 跟踪 阶段 ， 采 
用 粒子 滤波 和 卡尔 曼 滤 波 组 合 方法 跟踪 瞳孔 。 由 粒子 滤波 完成 在 下 一 帧 图 像 中 的 瞳孔 目标 定 
位 ， 然 后 在 此 位 置 精确 分 割 瞳孔 。 对 分 割 的 瞳孔 参数 采用 卡尔 曼 滤 波 进行 估计 ， 以 获得 更 加 
准确 的 、 和 鲁 棒 性 好 的 瞳孔 数据 。 

粒子 滤波 和 卡尔 曼 滤 波 相 结合 瞳孔 跟踪 方法 流程 如 图 6.24 所 示 。 在 整个 跟踪 过 程 中 ， 
由 系统 硬件 产生 交替 出 现 的 亮 瞳 和 暗 瞳 图 像 序列 ， 定 义 相 邻 的 四 帧 图 像 (包括 两 帧 亮 瞳 图 像 
和 两 帧 暗 瞳 图 像 ， 分 别 为 亮 瞳 、 暗 瞳 、 亮 瞳 、 暗 瞳 ) 中 前 两 帧 亮 瞳 和 暗 瞳 图 像 为 前 帧 图 像 ， 
后 两 帧 亮 瞳 和 了 暗 瞳 图 像 为 后 帧 图 像 ， 前 帧 亮 暗 瞳 图 像 的 差分 为 前 帧 差分 图 像 。 后 帧 亮 暗 瞳 图 
像 的 差分 为 后 帧 差分 图 像 。 在 初始 的 亮 瞳 和 暗 瞳 图 像 中 ， 对 亮 暗 瞳 图 像 进行 差分 。 青 通过 本 
书 第 5 章 介绍 的 瞳孔 检测 方法 分 割 瞳 孔 ， 检 测 瞳 孔 目 标 参 数 ， 获 得 瞳孔 目标 状态 参数 ， 完 成 
跟踪 初始 化 。 这 样 初 始 帧 就 成 为 前 帧 ， 在 以 后 的 跟踪 过 程 就 遵循 前 帧 和 后 帧 的 定义 进行 瞳孔 
跟踪 。 

粒子 滤波 瞳孔 跟踪 是 在 前 帧 和 后 帧 图 像 中 的 暗 瞳 图 像 中 进行 的 。 根 据 前 帧 检测 的 瞳孔 目 
标 参 数 ， 在 前 帧 暗 瞳 图 像 上 预测 粒子 状态 ， 采 用 粒子 滤波 对 后 帧 暗暗 图 像 上 的 瞳孔 目标 进行 
跟踪 ， 确 定 后 帧 暗 瞳 图 像 上 瞳孔 目标 的 方位 ， 即 图 中 的 瞳孔 目标 状态 估计 。 粒 子 滤波 的 跟踪 
结果 对 卡尔 曼 滤 波 最 终 确定 瞳孔 目标 的 参数 起 指导 作用 。 卡 尔 曼 滤波 瞳孔 参数 估计 是 在 前 帧 
和 后 帧 图 像 中 的 差分 图 像 中 进行 的 。 根 据 前 帧 图 像 中 瞳孔 目标 参数 ， 采 用 卡尔 曼 滤波 预测 后 
帧 差分 图 像 中 的 瞳孔 参数 ， 根 据 粒子 滤波 的 跟踪 结果 确定 预测 方程 ， 即 卡尔 曼 滤 波 中 的 状态 
转移 方程 。 通 过 卡尔 曼 滤 波 估计 后 帧 差分 图 像 中 的 瞳孔 目标 参数 。 卡 尔 曼 滤波 中 的 观测 值 则 
由 粒子 滤波 跟踪 区 域 的 瞳孔 分 割 获得 。 卡 尔 曼 滤波 的 跟踪 结果 就 是 最 终 的 瞳孔 检测 结果 ， 也 
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图 6.24 粒子 滤波 和 卡尔 曼 滤 波 组 合 瞳孔 跟踪 方法 流程 


是 下 一 个 前 帧 目标 参数 。 
6.3.1 粒子 滤波 跟踪 


1. 特征 参数 提取 
应 用 本 书 第 5 章 阐述 的 视线 参数 检测 方法 进行 瞳孔 特 生 





跟踪 的 初始 化 。 
2. 瞳孔 目标 模型 


FE 参 数 提取 ， 检 测 成 功 则 完成 瞳孔 


瞳孔 目标 模型 由 一 个 空间 矢量 State = |C,, C, C, C, X, Y, V,, V, H,, H,, ad} 
描述 ， 其 中 C, 和 C, 为 瞳孔 椭圆 中 心 在 图 像 中 方向 和 yy 方向 的 坐标 值 ，C, 和 C, 为 瞳孔 椭 
圆 长 轴 和 短 轴 的 长 度 值 ; X 和 Y 为 矩形 目标 窗口 中 心 在 图 像 x 和 y 方向 坐标 值 ; V, REV, 为 
图 像 瞳孔 目标 在 x 和 y 方 向 移动 速度 ; H, 和 五, 为 矩形 目标 窗口 的 宽 和 高 ; ad 为 目标 窗口 的 


尺度 扰动 幅度 。 

















初始 时 刻 目 标 状态 已 知 ， 跟 踪 开 始 时 以 初始 目标 状态 为 中 心 ， 选 择 适 度 方差 高 斯 函数 对 


其 进行 采样 得 出 跟踪 开始 时 刻 的 一 组 粒子 状态 。 
3. 瞳孔 运动 模型 





根据 瞳孔 运动 模型 对 粒子 状态 进行 预测 ， 这 里 状态 转移 模型 如 下 : 


State, = A » State; , + Vi, 


(6. 93) 
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[100000A 0 00 0 
0100000 A& 00 0 
0010000 000 0 
0001000 000 C, 
000010A 000 0 
其 中 A-j000001 0 A00 0 
0000001 000 0 
0000000 100 0 
0000000 0 10 H, 
0000000 001 H 
0000000 0 00 1 
状态 转移 模型 中 噪声 矢量 Vm(t - 1) ~ N(0,0)) 。 


4. 瞳孔 观测 模型 

mc 纹理 、 形 状 等 。 在 人 脸 等 各 种 目标 的 跟踪 计算 中 
这 些 特征 都 有 其 各 自 的 特点 "。 这 里 结合 灰 度 特征 和 形状 特征 两 种 信息 来 描述 瞳孔 目标 ， 
| 
述 。 当 某 粒 子 区 域 的 椭圆 度 越 大 ， 表 明 该 粒子 在 形状 特征 上 和 瞳孔 越 接 近 。 结 合 灰 度 和 形状 
两 种 特征 对 瞳孔 进行 运动 跟踪 ， 可 增强 跟踪 的 稳定 性 。 

(1) 灰 度 特征 一 一 灰 度 直方 图 

设 指定 区 域 中 心 点 为 (x。 ,yo。) ， 像 素 点 数目 为 N， 区 域 宽 高 分 别 W、 五 ， 则 有 

e =W +P (6.94) 





















































ogn (x — xo)? roon (6.95) 
1-7 Irl«l 
ki 6.96 
e 其 他 
式 中 ,所 (7) 为 核 函 数 。 因 此 核 密度 加 权 直 方 图 为 
gq, regna - u) (6.97) 
式 中 ,g = 人 YO ; hx) 为 每 个 像素 点 的 灰 度 值 ; =, bins 为 灰 度 级 。 
(2) 灰 度 观测 模型 
设 模 板 灰 度 统计 直方 图 为 p, ， 粒 子 state; 的 直方 图 为 ， 则 该 粒子 的 灰 度 观测 量 为 
Ei = et (6. 98) 
HP, d, 为 欧 氏 距离 ， 即 
d, = (6. 99) 





(3) 形 状 特征 一 一 椭圆 形 度 
先 对 各 粒子 区 域 进行 二 值 化 处 理 ， 之 后 对 粒子 区 域 的 二 值 化 图 像 数 据 进行 椭圆 形 度 计 
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4X, WNGIRDUE BEA R, WI R-4AmS/D, Hb, S 是 粒子 区 域 所 含 物体 的 面积 ， 以 像素 数 表示 ; 
工 指 区 域内 所 含 物体 的 周 长 ， 也 以 像素 数 表示 。R 的 取 值 范 围 是 L0，1] ， 物 体 越 贺 ， 椭 圆 形 
度 值 越 大 ， 理 想 情 况 下 标准 加 的 值 为 1。 有 瞳孔 椭圆 的 形状 特征 可 以 用 椭圆 形 度 来 定量 描述 。 
(4) 形 状 观测 模型 
计算 出 物体 的 椭圆 形 度 后 ， 根 据 以 下 模型 得 出 形状 观测 量 ; 
Fi gg 9e (6. 100) 
式 中 ,RR 为 当前 时 刻 瞳 孔 椭 圆 形 度 。 图 6. 25 所 示 为 瞳孔 椭圆 形 度 示意 图 。 














[| f—— 





标准 圆 半径 一 3 椭圆 a=5,b=3 椭圆 a=7, 5 =1 
椭圆 形 度 R=1 椭圆 形 度 R=0.9375 WIRE: RE R=0.4375 

















图 6.25 瞳孔 椭圆 形 度 示意 图 
结合 灰 度 和 形状 特征 由 下 式 得 到 各 粒子 的 观测 量 ， 即 权重 为 





w = aE + (1 - a) F (6. 101) 
RF, a 为 0~1 的 小 数 。 
(5) 新 状态 估计 及 模板 更 新 
1) 新 状态 估计 
3 uisi 
E(X) = = (6. 102) 
>o, 


式 中 ，N 为 粒子 数 。 新 状态 估计 值 将 作为 跟踪 输出 值 。 并 带 入 模板 更 新 过 程 与 原 模板 相 结合 
计算 新 的 模板 为 下 一 步 计算 粒子 权重 值 做 准备 。 
2 ) 重 采样 。 对 | state; wi) 进行 重 采样 ， 设 新 采样 结果 放 在 数组 | state? ,o]1 7, 中 ， 令 


u 为 [0，1] 上 均匀 分 布 的 采样 值 ， 则 满足 S i <u, < X o 的 state? 被 选择 作为 新 采样 数 
组 中 的 元 素 ,重复 w 次 ， 得 到 一 组 新 的 粒子 。 重 采样 目的 是 将 一 些 权重 值 较 小 的 粒子 淘汰 ， 
以 免 将 其 代入 下 一 帧 的 状态 转移 方程 中 参与 粒子 状态 预测 计算 ， 导 臻 又 产 生 权 值 较 小 的 粒子 
影响 跟踪 效果 !”] ;同时 将 一 些 权重 值 较 高 的 粒子 状态 保留 并 复制 ， 在 重 采样 过 程 中 一 个 权 
重 值 较 高 的 粒子 可 能 会 被 多 次 复制 并 用 到 下 一 步 预 测 计算 中 。 这 样 保证 了 粒子 在 迁 代 更 新 计 
算 过 程 中 和 参与 目标 估计 计算 时 ， 都 能 保持 较 高 的 权重 值 。 如 果 不 进行 重 采样 运算 ， 则 算法 
经 过 几 次 选 代 运算 后 只 有 个 别 若干 粒子 状态 的 权重 值 较 大 ， 而 其 他 值 较 小 ， 进 而 影响 跟踪 精 
度 。 

3) 模 板 更 新 。 在 使 用 者 头 部 位 置 变 化 等 情况 下 ， 了 瞳孔 形状 会 随 着 头 部 位 置 的 变化 而 变 
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化 ， 因 此 瞳孔 的 灰 度 和 形状 特征 也 会 和 模板 出 现 较 大 差异 。 此 时 ， 如 果 还 用 原 有 模板 进行 粒 
子 相似 度 计算 来 对 当前 的 瞳孔 状态 进行 估计 ， 估计 结 果 会 与 真实 目标 状态 的 差异 较 大 而 影响 
跟踪 精度 。 这 种 情况 下 ， 模 板 会 结合 每 一 次 估计 的 新 状态 进行 更 新 ， 减 小 相 邻 两 帧 图 像 目 标 
之 间 的 差异 。 

(6) Hz HEAT LAE T 

BEEZ HI ER ENR P it 4L UK BE RUEDA EAE SB RRR REER, ERST HE M POBRE AR 
态 经 状态 转移 模型 计算 的 各 粒子 相似 度 ( 即 权重 值 ) 都 较 小 。 若 粒子 权重 值 中 的 最 大 者 与 某 
阔 值 相 比较 小 ， 则 此 组 新 粒子 不 参与 目标 估计 的 计算 。 粒 子 空间 仍然 保留 上 一 次 的 粒子 状态 
值 ， 且 此 时 目标 仍然 为 上 一 次 估计 的 目标 状态 。 直 到 调 人 下 一 帧 图 像 时 ， 用 状态 转移 模型 对 
所 保留 的 粒子 状态 进行 外 推 ， 重 新 进行 粒子 滤波 跟踪 步 又， 可 以 得 到 当前 帧 的 目标 状态 ， 使 
跟踪 过 程 中 受 瞬 间 上 用 眼 干 扰 的 影响 较 小 。 

5. 粒子 滤波 瞳孔 跟踪 流程 

设 t 时 刻 的 第 i 个 粒子 状态 为 state: ， 对 应 观测 量 为 w:，t 时 刻 的 粒子 状态 集 为 STATE ,。 

(1) 跟 踪 初 始 化 














1) 计 算 目标 灰 度 直方 图 
Or = {ai lai = SEROSA) -加 | 
2) 初 始 化 各 粒子 状态 
STATES, = í(state/ ,,0 ) |state; = 和 + 了 wo = 1/N} 


(2) 预测 粒子 状态 
建立 瞳孔 目标 和 运动 模型 ， 即 状态 转移 模型 ， 有 
STATES, = {state, | state? = 4state , + Vi} 
根据 状态 转移 模型 对 粒子 状态 进行 预测 ， 得 到 新 时 刻 的 粒子 集合 STATES, o 
(3) 对 各 粒子 状态 进行 观测 
1) 对 每 个 粒子 的 直方 图 进行 计算 


N 
Q anh = ids Ee m f 2, k(C)8 (8G) ES u) | 


2) 根 据 直方 图 计算 各 粒子 与 模板 之 间 的 欧式 距离 4， 设 模板 直方 图 为 g，t ASE i A 
子 区 域 的 直方 图 qi 为 








bins 
dstatei = 25 (g 7 uu 
j=1 
3) XE BETOBECT R E LEET, ie AE i METIAN E, A 








2 * 
dStatej 





E =e 
4) 计 算 每 个 粒子 区 域 的 椭圆 形 度 为 
; 4m$. 
R = -sp 
L™ 


t 


5) 计算 各 粒子 区 域 的 形状 观测 量 之 值 为 
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6) 毕 合 颜色 和 形状 特征 计算 每 个 粒子 的 观测 量 之 值 ， 即 权重 值 为 
w = aE! * (1 -a)F. 


(4) 瞳孔 目标 状态 估计 
1) 对 目标 状态 进行 估计 ， 有 
S w'state’ 
E(X,) = 一 人 一 
2,0, 


2) 计 算 估计 的 目标 状态 的 概率 权重 ， 设 ;时刻 估计 出 的 目标 状态 的 概率 权重 为 of， 欧 
REEN df, AEREN R? 
of = m +(1- ie e 


(5 ) 重 采样 
设 粒 子 集 | state, oi] m ， 重 采样 结果 放 入 | state” , w b H, Wu -U(0, 1). 


EU Y oj «a < Xoi, EHE state! MCA 
(6) 更 新 瞳孔 目标 模型 
程序 为 
if o > Or 
X, 二 (1 -B)X ， + BECX,) 


else 


state”, «| pe F, EEREN K, 


end 
6.3.2 卡尔 曼 滤 波 瞳 孔 参 数 估 计 


将 瞳孔 目标 模型 定义 为 = | C,,，C,, H,, H,, V, V, a, b, 9，adl。 其 中 ，C. MC, 
为 瞳孔 目标 中 心 在 图 像 中 x 和 7y 方 向 的 坐标 值 ; H, 和 已 为 观测 窗口 的 半 窗 宽 和 半 窗 高 ; V, 
和 V, 为 瞳孔 目标 分 别 在 图 像 中 的 x A y 方向 的 运动 速度 ; a fU b 为 瞳孔 椭圆 的 长 半 轴 和 短 半 
轴 的 长 度 ; 9 为 瞳孔 椭圆 长 轴 与 竖 直方 向 之 间 的 夹 角 ; ad 为 尺度 扰动 幅度 。 

初始 时 刻 且 标的 状态 值 已 经 由 初始 化 处 理 得 出 。 设 上 -1 时 刻 瞳 孔 目 标 状态 的 卡尔 曼 佑 


计 为 X(1-1); 3E c 时 刻 粒 子 滤波 状态 估计 值 中 的 矩形 框 中 心 * 方向 坐标 为 x (0 y 方向 从 
BIOS y (0) Mi 时 刻 粒子 滤波 估算 工作 完成 后 , 令 dx = 7 (t) -Ci dy 2 3 (t) - 


Ci EXGOC- 1) PÉ Va EOS Van = | dx |/At; 更 新 为 了 = | dy|/At。 

1. 状态 转移 模型 和 观测 

根据 状态 转移 模型 进行 预测 ， 将 上 述 不 同 值 的 dx 及 dy 分 为 四 种 情况 ,状态 转移 矩阵 根 
据 这 几 种 情况 的 不 同 而 不 同 。 

今 状 态 转 移 模 型 为 (1) 26 - X(t-1) +ow(-1);， 瞳孔 状态 (观测 值 ) 矢 量 为 0(1)， 
噪声 矢量 为 g (1) 。 其 中 ，w(1 -1)、w (i) 为 均值 为 0 的 高 斯 白 噪 声 ， 令 w (1) 的 噪声 方差 为 
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1。 状 态 转 移 和 矩阵 更 如 下 : 


0 时 有 


dx#0, dy 
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dx#0, dy#0 时 有 


(6. 105) 








1 





0 0 0 H, 


0 0 0 


0 0 0 0 


0 0 0 0 
0 0 0 0 
0 0 0 0 
0 0 0 0 
0 0 0 0 
to 0 0 0 


0 0 0 0 


0 
0 
0 
0 
0 


0 0 0 





0 时 有 


dx 20, dy 
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状态 转移 模型 中 的 噪声 矢量 V. 由 两 部 分 组 成 : na) - NCO, 0), v(t) -U(0, 1), 
这 里 利用 对 差分 图 像 中 粒子 滤波 跟踪 区 域 有 瞳孔 状态 检测 来 完成 观测 工作 。 检 测 流程 如 图 
6. 26 所 示 。 














设 1 时 刻 经 检测 得 出 的 瞳孔 状态 矢 后 帧 亮 暗暗 图 像 
量 为 _ 瞳孔 边缘 检测 
2. 目标 状态 的 最 终 估计 亮 暗暗 图 像 差分 
求 出 wa 后 ， 可 用 于 对 卡尔 曼 滤波 预 边缘 滤波 
测 值 进行 调整 。 在 卡尔 曼 滤 波 算法 中 新 规则 滤波 
的 估计 值 计算 如 下 : 椭圆 拟 合 中 心 定位 
OET E ES E 连通 性 形状 大 小 滤波 
| EE LL EE 提取 瞳孔 参数 
RP, K 是 卡尔 曼 增 益 ，Z 是 观测 差 ， numm 
K- Z 即 修正 值 。 











Z -Z(1) -O(1) (6.107) 图 6.26 瞳孔 状态 矢量 检测 (观测 ) 流程 





K = Je! (1 To - 1) « v/(1)) (6. 108) 
这 样 就 完成 了 单 步 卡 尔 曼 滤波 算法 的 目标 状态 估计 步 又。 其 得 出 的 目标 状态 估计 为 跟踪 
算法 的 最 终 估计 。 
当 卡 尔 曼 滤波 跟踪 步骤 结束 后 ， 将 所 估计 的 上 时 刻 的 瞳孔 的 位 置 中 心 等 参数 作为 粒子 滤 
波 上 时 刻 状 态 矢量 中 的 x 和 y 的 估计 值 ， 送 入 下 一 步 预测 环节 当中 。 如 此 循环 ， 便 实现 了 基 
于 粒子 滤波 - 单 步 卡尔 曼 滤 波 算法 的 瞳孔 跟踪 过 程 。 


6.4 本 章 小 结 


基于 视频 分 析 的 视线 追踪 技术 主要 包括 两 方面 的 内 容 ， 即 视线 参数 检测 和 视线 方向 映射 
模型 的 建立 。 其 中 ， 瞳 和 孔 跟踪 是 视线 参数 检测 的 重要 步骤 ， 主 要 面向 视线 参数 的 快速 检测 和 
精确 检测 。 本 章 主要 介绍 了 三 种 瞳孔 跟踪 方法 ， 即 基于 卡尔 曼 滤波 和 均值 漂移 的 瞳孔 跟踪 方 
法 、 基 于 粒子 滤波 的 瞳孔 跟踪 方法 ， 以 及 粒子 滤波 和 卡尔 受 滤波 组 合 的 瞳孔 跟踪 方法 。 前 两 
种 方法 主要 面向 瞳孔 的 快速 检测 ， 即 在 序列 图 像 前 一 帧 瞳孔 检测 基础 上 ， 利 用 历史 信息 对 瞳 
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孔 目 标 进行 快速 定位 。 粒 子 滤波 和 卡尔 曼 滤波 组 合 的 瞳孔 目标 跟踪 方法 则 最 终 面向 瞳孔 参数 
的 精确 检测 。 

基于 粒子 滤波 的 瞳孔 跟踪 方法 主要 针对 现 有 粒子 滤波 瞳孔 跟踪 方法 ， 没 有 充分 考虑 瞳孔 
特有 的 形状 模型 和 运动 规律 方面 的 不 足 ， 所 以 本 章 提 出 了 一 种 基于 TCPCM 的 粒子 滤波 瞳孔 
跟踪 算法 。 在 TCPCM 的 基础 上 ， 采 用 相应 的 瞳孔 目标 模型 、 有 瞳孔 运动 模型 和 瞳孔 感知 模型 ， 
改善 了 目标 状态 漂移 和 粒子 贫 化 的 问题 ， 提 高 了 跟踪 的 稳定 性 与 精确 性 。 为 高 质量 的 视线 特 
征 参 数 提取 ， 提 供 了 瞳孔 的 定位 依据 。 粒 子 滤波 和 卡尔 曼 滤 波 组 合 跟踪 方法 ， 则 采用 粒子 滤 
波 对 瞳孔 目标 定位 并 根据 跟踪 的 结果 ， 确 定 卡 尔 曼 滤波 系统 方程 模型 ， 再 采用 卡尔 曼 滤 波 对 
瞳孔 目标 参数 进行 精确 估计 ， 提 高 了 瞳孔 参数 检测 的 精确 性 。 
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基于 数字 视频 分 析 (VOG) 的 视线 追踪 系统 可 以 粗略 地 划分 为 单 摄像 机 系统 和 多 摄像 
机 系统 。 单 摄像 机 系统 通过 视频 图 像 检 测 眼睛 的 平面 视线 参数 ， 采 用 视线 参数 到 视线 屏幕 落 
点 的 映射 模型 获取 视线 方向 。 多 摄像 机 系统 通过 立体 视觉 检测 眼睛 的 三 维 视线 参数 ， 采 用 有 眼 
球 几 何 模型 获取 视线 方向 。 因 此 ， 多 摄像 机 系统 需要 对 摄像 机 进行 标定 ， 使 得 多 摄像 机 组 能 
够 进行 三 维 空间 测量 ， 并 通过 系统 标定 确定 摄像 机 、 光 源 和 计算 机 显示 屏幕 之 间 的 相对 位 置 
关系 。 

本 章 详细 地 介绍 了 多 摄像 机 视线 追踪 系统 标定 所 涉及 的 摄像 机 标定 的 相关 知识 ， 包 括 坐 
标 变换 、 摄 像 机 镜头 畸变 、 摄 像 机 模型 、 摄 像 机 标定 的 透视 变换 法 、 摄 像 机 标定 的 张 正 友 法 
等 。 在 此 基础 上 ， 给 出 了 双 摄 像 机 双 光 源 视线 追踪 系统 标定 的 平面 镜 反 射 法 和 基于 全 局 标定 
的 视线 追踪 系统 标定 方法 。 
































7.1 摄像 机 模型 


7.1.1 成 像 变换 


最 常见 的 成 像 变换 是 几何 透视 变换 ， 几 何 透视 变化 的 特点 是 随 着 3D 场景 与 摄像 机 之 间 
距离 的 变化 ， 像 平面 上 的 投影 也 发 生变 化 。 为 了 阐述 摄像 机 模型 和 摄像 机 标定 方法 ， 需 定义 
相关 坐标 系 。 

1. 成 像 坐标 系统 

1) 世界 坐标 系 。 也 称 真 实 或 现实 世界 坐标 系统 YYZ， 它 是 客观 直 界 的 绝对 坐标 系 ， 也 
是 物 方 坐标 系 ， 一 般 3D 场景 都 用 这 个 坐标 系 来 表示 。 

2) 摄像 机 坐标 系统 。 以 摄像 机 为 中 心 制定 的 坐标 系统 xyz， 一 般 常 取 摄 像 机 光学 轴 为 z 
轴 。 

3) 像 平 面 坐标 系统 。 在 摄像 机 内 所 形成 的 像 平 面 坐标 系统 x'y'。 一 般 常 取 像 平面 与 摄 
像 机 坐标 系 同 的 xy 平面 平行 ， 且 * HL xl, y 与 y 轴 分 别 重合 ， 这 样 像 平 面 原点 就 在 摄像 
机 的 光学 轴 上 。 

4) 计算 机 图 像 坐标 系统 。 计 算 机 内 部 数字 图 像 所 用 的 坐标 系统 MY。 数字 图 像 最 终 由 
计算 机 内 部 的 存储 器 存放 ， 所 以 要 将 像 平面 的 投影 坐标 转换 到 计算 机 图 像 坐 标 系统 中 。 

2. 小 孔 成 像 模型 

在 实际 应 用 中 ， 摄 影 光学 系统 往往 采用 小 孔 成 像 模型 。 小 孔 成 像 模 型 是 计算 机 视觉 中 广 
泛 采 用 的 成 像 模 型 。 假 设 摄像 机 理想 成 像 不 存在 非 线性 畸变 ， 如 图 7. 1 所 示 ， 景 物 点 发 出 的 
光线 经 过 光学 镜头 中 心 ， 与 成 像 平面 的 交点 ， 即 为 像 点 。 景 物 点 、 针 孔 、 景 物 点 成 的 像 在 一 
条 直线 上 ， 就 像 光线 经 过 光学 中 心 的 一 个 小 孔 一 样 ， 故 称 小 孔 成 像 模型 。 为 方便 起 见 ， 通 常 
认为 图 像 平面 在 针 筷 前 面 ， 即 虚拟 图 像 的 位 置 。 
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图 7.1 小 孔 成 像 模 型 
7.1.2 摄像 机 的 镜头 畸变 


1. 光学 畸变 一 般 概念 

如 图 7. 2 所 示 ， 由 于 摄像 机 物镜 系统 设计 、 制 作 、 装 配 引起 像 点 偏离 ， 其 理想 位 置 的 点 
位 误差 称 为 光学 畸变 。 光 学 畸变 分 为 径 向 畸变 和 偏心 畸变 。 径 向 畸变 使 像 点 沿 径 向 方向 偏离 
其 标准 理想 位 置 。 偏 心 畸 变 使 像 点 沿 径 向 方向 和 垂直 径 向 方向 ， 相 对 其 理想 位 置 都 发 生 偏 
离 。 其 径 向 方向 的 畸变 称 为 非 对 称 径 向 畸变 ， 垂 直径 向 方向 的 畸变 称 为 切 向 畸变 。 理 想像 点 
与 实际 像 点 的 位 置 关 系 如 图 7. 3 所 示 。 摄 像 机 镜头 畸变 一 般 为 桶 形 畸 变 和 枕 形 畸变 。 














Xh 











dr: 径 向 畸变 
dr: 切 向 畸变 


图 7.2 畸变 产生 示意 图 图 7.3 理想 像 点 与 实际 像 点 位 置 关系 
实验 表明 ， 线 性 模型 在 很 多 情况 下 不 能 准确 描述 成 像 的 几何 关系 ,尤其 在 使 用 广角 镜头 
时 ， 在 远离 图 像 中 心 处 会 有 较 大 的 畸变 。 
进行 摄像 机 标定 时 ， 必 须 考 虑 镜头 畸变 。 主 要 畸变 误差 分 为 三 类 : 径 向 畸变 、 偏 心 畸 变 
和 薄 棱 镜 畸 变 。 第 一 类 畸变 只 产生 径 向 位 置 的 偏差 ， 后 两 类 则 既 产 生 径 向 俩 差 ， 又 产生 切 向 
偏差 。 






































: 166 - 视线 追踪 





2. 畸变 误差 模型 
(1) 径 向 畸变 
径 向 畸变 主要 由 镜头 的 形状 所 引起 的 ， 关 于 摄像 机 镜头 的 主 光 轴 对 称 。 正 向 畸变 称 为 枕 
形 畸 变 ， 负 加 畸变 称 为 桶 形 畸 变 。 其 数学 模型 为 
&, = x[ E (x e Y) «b G? € )!] 
&, 2 y[ GO € Y) «EG Y y)'] 
式 中 ,局 ， 态 为 径 向 畸变 系数 。 
(2) 偏心 畸变 
信心 畸变 主要 由 光学 系统 光 心 与 几何 中 心 不 一 致 造成 的 ， 即 镜头 器 件 的 光学 中 心 不 能 
格 共 线 。 这 类 畸变 既 含 有 径 向 畸变 ， 又 含有 切线 畸变 。 其 数学 模型 为 
Ó, = 2pyxy + p, (367 -y) 


(7.1) 


(7.2) 
8, = 2p,xy +p (x +37) 


APF, p, p, 为 偏心 畸变 系数 。 
(3) A BANJA 
Ai a I AE HH FR A TERRE, AERE ARNAR A R 
KMA SERRE, AK KFE ER BEUP BREL Y AR, MAE E II i 
差 ， 而 且 引 起 切 向 偏差 。 其 数学 模型 为 
Ô x = s(x + y.) 


(7.3) 
0 - s, (x? y) 
式 中 ，s, ，s, DEBE BEN AE RA 
综合 上 述 各 类 畸变 模型 ， 则 镜头 畸变 可 以 用 如 下 模型 表示 : 
ô (x,y) = B. (iy) *OLCX y) 40, (x,y) 
(7.4) 


ô, (x,y) = ô (x,y) +ô, (x,y) +ô, (x,y) 
一 般 来 说 径 向 畸变 已 经 足够 描述 非 线 性 畸变 。 如 果 考 虑 镜头 畸变 ， 需 要 对 小 孔 成 像 模型 
进行 修正 ， 实 际 像素 坐标 (x* ，y” ) ， 理 想像 素 坐 标 (x^, y^) 和 畸变 偶 差 之 间 关 系 可 写 为 


E EM os 








7.1.3 摄像 机 模型 


根据 几 个 坐标 系 之 间 的 相互 关系 ， 可 以 得 到 不 同 的 成 像 几 何 模型 ， 也 称 摄像 机 模型 。 

1. 世界 坐标 与 摄像 机 坐标 重合 时 的 摄像 机 模型 

如 图 7.4 所 示 ， 应 用 小 孔 成 像 模型 ， 图 像 中 摄像 机 坐标 系统 的 xy 平面 与 像 平面 重合 ， 
光学 轴 沿 z 轴 。 这 样 像 平面 的 中 心 处 于 原点 ， 镜 头 中 心 的 坐标 是 (0,，0, 7) , f 是 镜头 的 焦 
距 。 假 设 摄像 机 坐标 系统 与 世界 坐标 系统 XYZ 平行 。 

it (X, Y, Z) 是 3D 空间 中 任意 点 下 的 世界 坐标 。 以 下 讨论 都 假设 Z >f， 即 所 有 客观 
场景 中 感 兴趣 的 点 都 在 镜头 前 面 。 第 一 步 要 建立 点 W (X, Y, Z) 与 其 投影 到 图 像 平 面 的 坐 
标 间 的 联系 ， 借 助 相似 三 角形 方便 得 到 
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» _ XxX _ XxX 

f [AER (7.6) 

MENDES: ES: i 
f 4f f-Z 

式 中 ， 分 式 前 的 负 号 代表 图 像 像 点 反 

转 。 由 式 (7.6) 可 得 到 3D 投影 后 的 

图 像 平面 坐标 ， 即 


x- X 
Fi (7.7) 














-p 
a 





图 7.4 投影 成 像 示 意图 
等 式 是 非 线 性 的 ， 因 为 它们 分 母 中 含 变量 Z。 可 以 借助 齐 次 坐标 将 它们 表示 成 线性 矩阵 的 形式 。 
空间 一 个 点 对 应 的 笛 卡 尔 坐标 XYZ 的 齐 次 坐标 定义 为 (kX, kY, kZ, k), Kp k dt 














意 非 零 常数 。 将 齐 次 坐标 变 回 笛 卡 尔 坐标 可 用 第 4 个 坐标 量 去 除 前 三 个 坐标 量 得 到 。 这 样 一 
个 笛 卡 尔 坐标 系统 中 的 点 可 用 矢量 形式 表示 为 


W-I[X Y ZJ' (7.8) 
对 应 的 齐 次 坐标 可 以 表示 为 
W, =[ kY kZ k]' (7.9) 
ENIA KAE [Eg 
10 0 0 
a Ra cam 
0 0 -1M 1 
P 和 W, 的 乘积 给 出 了 一 个 矢量 ， 记 为 c， 即 
x 10 0 OTTkX kX 
se-Eem-Bi$jmE. m cm 
1 0 0 -LA 1—-k - kZ/f + k 


c, 的 元 素 是 齐 次 形式 的 摄像 机 坐标 ， 这 些 坐 标 可 用 e, 的 第 4 项 分 别 去 除 前 三 项 转换 成 笛 卡 
尔 形 式 。 所 以 ， 摄 像 机 坐标 系 中 任意 点 笛 卡 儿 坐 标 可 表示 成 矢量 形式 为 
c=[x y z] = EE ps = ] (7. 12) 

c 的 前 两 项 是 3D 空间 点 (X, Y, Z) 投影 到 图 像 平面 后 的 坐标 (x，y) ， 第 三 项 在 图 7.6 所 
示 的 模型 中 无 用 ， 但 逆 投 影 变换 中 起 自由 变量 的 作用 。 

2. 通用 摄像 机 模型 

通用 摄像 机 模型 要 考虑 如 下 一 般 情况 : 

1) 世界 坐标 系 、 摄 像 机 坐标 系 和 像 平 面 坐标 系 都 不 重合 。 

2) 摄像 机 镜头 的 畸变 误差 ， 像 平面 上 的 成 像 位 置 与 线性 变换 公式 计算 出 的 透视 变换 投 
影 结果 有 偏差 。 

3) 计算 机 中 使 用 的 图 像 坐标 单位 是 存储 器 中 离散 像素 的 个 数 ， 所 以 像 平面 上 的 连续 坐 
标 还 需 取 整 转 换 。 

图 7. 5 所 示 为 考虑 上 述 因 素 时 的 通用 几何 模型 示意 图 。 图 中 ， 摄像 机 坐标 系 的 原点 o 位 
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于 摄像 机 的 镜头 中 心 ， 像 平面 坐 
标 中 心 o' 位 于 光 轴 上 ， 由 小 和 孔 成 
像 模型 有 oo' =f, f HEIE, ME 
观 场 景 到 数字 图 像 的 成 像 变 换 可 
看 作 由 如 图 7.6 所 示 的 4 个 步骤 
组 成 。 

(1) 从 世界 坐标 CX, Y, 
Z) 到 摄像 机 3D 坐标 (x, y, z) 
的 变换 

由 前 述 摄像 机 模型 可 知 ， 变 
换 可 表示 为 


X 


























X 
R TIY 

A il 

1 























1 
APF, R, TIN 3 x 3 的 旋转 矩 
阵 (两 坐标 系 三 组 对 应 坐标 轴 间 夹 角 的 函数 ) 和 1 x3 的 平移 矢量 。 

(2) 从 摄像 机 3D 坐标 (x，y，z) 到 无 失真 像 平面 理想 坐标 (x, y) 之 间 的 变换 


图 7.6 从 客观 场景 到 数字 图 像 的 成 像 变 换 步 又 














(7.14) 


1 (7,15) 


1 
(3) 从 无 失真 像 平 面 理想 坐标 (x, y) 到 受 镜 头 畸 变 影 响 而 偏 移 的 实际 像 平 面 坐标 
(x”,，y”) 的 变换 
三 者 关系 为 


将 上 式 用 齐 次 坐标 形式 与 矩阵 表示 为 


x' fz 000 
y |=|0 fz00 
1 0 0 1 0 





x' =x -6,, 
oe. (7.16) 
式 中 ，6,, ，6,, 为 镜头 畸变 。 

(4) 图 像 坐 标 (u, vo) 与 像 平面 坐标 (x’'，y’) 的 变换 

1) 图 像 坐标 系 。 采 集 的 数字 图 像 在 计算 机 内 可 以 存储 为 数组 ， 数 组 中 每 一 个 元 素 为 像 
素 。 在 图 像 上 定义 直角 坐标 系 ww， 每 一 像素 坐标 分 别 是 该 像素 在 数组 中 的 行 数 和 列 数 。 所 
VI (u, v) 是 以 像素 为 单位 的 图 像 坐标 系 坐 标 。 

2) 像 平 面 坐标 系 。 坐 标 系 是 以 像素 为 单位 的 坐标 系 ， 而 像 平 面 坐标 系 x'y' 是 连续 坐标 
系 ， 或 物理 单位 坐标 系 。 用 (u, v) 表示 图 像 坐标 ，(x'，y') 表示 像 平 面 坐标 。x'y' 坐 标 系 
的 原点 定义 在 摄像 机 光 轴 与 图 像 平面 的 交点 (mw，m) ， 此 交点 称 为 主 点 。 在 x' 轴 和 yy' 轴 方 
向 上 像素 之 间 的 距离 为 S, 和 5,。 则 两 坐标 系 之 间 的 关系 为 
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u- m * guy! + uo 
* CT. 17) 


, 


v=% +m 


5. 


u 1/5, H Uo x! x! 
v|-| 0 1S8 wJ|y|-M,y (7. 18) 
1 0 0 12.1 1 


XP, EE M FIOSPIABOBEE, BT BRESCIA T2; SERES, ARAN RERE, u 
定义 为 考虑 像素 点 畸变 的 畸变 因子 ， 有 时 也 称 图 像 不 确定 因子 ， 倾 斜 因子 等 。 其 形成 原因 是 
在 实际 图 像 采 集 系 统 中 ， 由 于 CCD 安装 平面 与 镜头 光 轴 不 垂直 ， 存 在 倾角 误差 等 因素 。 图 
像 坐 标 系 与 像 平面 坐标 系 如 图 7.7 所 示 。 


表示 成 矩阵 形式 ， 即 

















综 上 所 述 ， 当 世界 坐标 、 摄 像 机 坐标 、 像 平面 坐 % u 
标 、 图 像 坐标 都 分 开 且 不 考虑 畏 变 影响 时 ， 通 用 摄像 
机 模型 可 表示 为 Di 
u 1/85, 0 uy Tf 00 0 (use) d 
HE 0. 1/5, “| f 0 [t ]] B 
1 L 0 0 140 0 1 0 1 
HS, 0 u 0 "s 
zx ap ys s oE T] (119 " x| 
Lo 0 1 0 图 7.7 图 像 坐标 系 与 像 平 面 坐标 系 











1 

= MM, W, = MW, 
M, 只 与 摄像 机 内 部 结构 有 关 ， 称 摄像 机 内 部 参数 。 主 要 包括 : x 方向 尺度 因子 f, 2f/8,, y 2r 
向 尺度 因子 f, =f/S,，, 像 主 点 在 图 像 坐 标 系 中 的 坐标 (wu,。，w) ， 上 畸变 因子 jw。M, 只 与 摄像 机 
相对 于 世界 坐标 系 的 方位 有 关 ， 称 为 摄像 机 的 外 部 参数 ， 外 部 参数 可 以 定义 为 是 12 个 ， 包 括 : 
旋转 矩阵 R 的 9 个 参数 和 平移 矩阵 了 的 3 个 参数 。 也 可 以 定义 为 6 个 , 包括 : 旋转 
JERE R 的 3 个 偏转 角 和 平移 矩阵 了 荆 的 3 个 参数 。W 为 空间 点 在 世界 坐标 系 下 的 齐 次 坐标 。 











计算 机 屏幕 
Z) m(u,v) 

u Z 

z O l- sÜ 

z iv 0: Uo Y 
i X 
zC =P [R (TW) ] 

X 
u fe M uo nie Tiz Tig T, y 
ZH P=|0 f, vw R=|r n r3 T- T, W= P 
1 0 0 1 Tap To 733 T, 1 


图 7.8 摄像 机 模型 示意 图 
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上 述 摄像 机 模型 为 线性 模型 ， 如 果 已 知 摄像 机 的 内 外 参数 ， 即 已 知 M AREE, SHEE 
间 点 ， 知 道 其 世界 坐标 ， 就 可 以 求 出 其 图 像 像素 坐标 系 中 该 图 像 点 的 坐标 。 反 过 来 ， 如 果 已 
知 空间 某 点 的 图 像 坐标 ， 即 使 已 知 其 内 外 参数 ， 空 间 坐标 也 不 是 惟一 确定 的 ， 它 对 应 空间 的 
一 条 射线 。 

当 考 虑 摄像 机 镜头 畸变 时 ， 摄 像 机 模型 为 非 线 性 模型 ， 即 


x! x. Ô. 
Ho [a [5] Pe 
7.2 摄像 机 标定 方法 


1. 摄像 机 标定 

空间 某 点 的 三 维 几何 位 置 坐标 与 其 在 图 像 中 对 应 点 之 间 的 相互 关系 ， 是 由 摄像 机 成 像 几 
何 模型 决定 的 。 这 些 几 何 模型 参数 就 是 摄像 机 参数 。 多 数 情 况 下 ， 这 些 参数 必须 通过 实验 与 
计算 才能 得 到 ， 这 个 过 程 称 为 摄像 机 的 标定 。 标 定 过 程 就 是 确定 摄像 机 的 几何 和 光学 参数 ， 
以 及 摄像 机 相对 于 地 界 坐 标 系 的 方位 。 

2. 摄像 机 标定 的 目的 

摄像 机 参数 总 是 相对 于 某 种 几何 成 像 模 型 的 ， 这 个 模型 是 对 光学 成 像 过 程 的 简化 。 如 针 
孔 成 像 模型 ， 它 是 摄像 机 标定 研究 的 基本 模型 。 然 而 在 很 多 情况 下 ， 这 种 线性 模型 不 能 准确 
地 摘 述 摄像 机 成 像 的 几何 关系 ， 如 在 近 距 、 广 角 的 情况 下 。 因 此 ， 还 需 考虑 线性 或 非 线 性 的 
畸变 误差 补偿 后 ， 才 能 更 合理 地 将 其 看 作 针 孔 模型 的 成 像 过 程 ， 利 用 校正 后 的 模型 进行 三 维 
重建 才能 得 到 更 高 的 精度 。 因 此 ， 成 像 模型 和 畸变 误差 补偿 成 为 视觉 中 摄像 机 标定 研究 的 重 
要 内 容 。 

摄像 机 标定 实际 上 是 要 求 出 6 个 外 参数 尺 、7T，5 个 内 参数 (f, =f/5,, f, 2 f/S,, us, 
vy, U), URERA RŽ ki, ds. Pis Poo S, 52 等 。 若 不 考虑 离散 后 像素 变形 (PEE 
形 方块 ) 或 者 成 像 平 面 不 与 光 轴 正 交 ， 则 可 以 不 考虑 畸变 因子 /六 。 一 般 情 况 下 ， 畸 变 系数 只 
考虑 径 向 畸变 系数 ， 并 设 局 =k, -k. 

如 果 已 知 摄像 机 的 内 外 参数 ， 即 M 矩阵 已 知 ， 对 任何 空间 点 三， 知道 它 的 世界 坐标 
(X，7，Z，1) ， 就 可 以 求 出 其 图 像 像素 坐标 系 中 该 图 像 点 w 的 坐标 (u, v). RER, W 
果 已 知 空间 某 点 的 图 像 坐标 ， 即 使 已 知 内 外 参数 ， 空 间 坐标 也 不 是 惟一 确定 的 ， 它 对 应 空间 
的 一 条 射线 。 

3. 经 典 摄像 机 标定 方法 

如 图 7.9 所 示 ， 摄 像 机 标定 的 基本 方法 : 在 一 定 的 摄像 机 模型 下 ， 基 于 特定 的 实验 条 件 
如 形状 、 尺 寸 等 已 知 的 标定 参照 物 ， 经 过 图 像 处 理 ， 利 用 一 系列 数学 变换 和 计算 方法 ， 求 取 
摄像 机 模型 的 内 部 参数 和 外 部 参数 。 

经 典 的 摄像 机 标定 技术 利用 已 知 物体 上 的 一 些 点 的 三 维 坐 标 和 它们 相应 的 图 像 点 坐标 ， 
计算 摄像 机 的 内 外 参数 。 当 前 ， 对 传统 摄像 机 标定 技术 的 人 研究 集中 在 非 线性 畸变 校正 方面 。 

经 典 标定 方法 主要 包括 : 透视 变换 法 、 张 正 友 法 、 直 接线 性 变换 法 、 两 步 法 和 双 平 面 
法 。 直 接线 性 变换 方法 是 最 优化 算法 的 标定 方法 ， 两 步 法 进一步 考虑 了 畸变 补偿 ， 双 平面 法 
合理 运用 了 摄像 机 的 成 像 模 型 。 
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图 7.9 摄像 机 标定 示意 图 








经 典 标定 方法 具有 标定 精度 高 、 可 以 使 用 任意 摄像 机 模型 的 优点 ， 其 不 足 之 处 在 于 标定 
过 程 复杂 ， 需 要 高 精度 的 标定 块 或 标定 框架 。 在 应 用 场合 要 求 较 高 且 摄 像 机 参数 不 经 常 变化 
时 ， 首 选 此 类 方法 。 

摄像 机 标定 的 张 正 友 法 唔 1 

张 正 友 的 平面 模板 标定 方法 是 介 于 传统 标定 方法 和 上 自 标定 方法 之 间 的 一 种 方法 。 它 既 避 
免 了 传统 方法 对 设备 要 求 高 、 操 作 繁琐 等 缺点 ， 又 较 自 标定 方法 的 精度 高 。 

根据 摄像 机 成 像 模型 ， 世 界 坐标 点 到 理想 像素 点 的 齐 次 坐标 变换 如 下 : 











X X 
u fı M uo Y y 
zv|-[0 f, vw llR T] p -A[R T| E - MW, (7.21) 
1 
0 0 1 i i 


1. 单 应 性 矩阵 的 计算 
为 简化 计算 ， 取 模板 所 在 平面 为 世界 坐标 系 的 Z =0 平面 。 用 x, 表示 R 的 第 i 列 矢量 。 
那么 对 于 模板 平面 上 的 点 有 
X 


u X X 
pe Alr r, r, T] "lz A[r, r, n |- 中 | (7. 22) 
1 A 1 1 
REE EARME os zr IR RAE EE H -A[r, r, T] 确定 ， 这 个 矩阵 称 为 
hs Ja d 
单 应 性 和 矩阵。 设 互 =|h,， hs hy |, uff 
ha hy hy 
zu = hX +h pY +h; 
| = ha X + hY ha (7.23) 
z = h X * h4Y +1 


整理 得 
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六 Y 1000 -uX Us - ["] (7.24) 
0 0 0 X Y 1 -vX -vY v 
其 中 h = [Lh hi hy ji hy hs, hs isl 
€ Hz|[h, h, h, | 则 
[h h, hs] =AA[r, r, T] (7. 25) 
因为 r, Mr, 是 单位 正 交 矢量 ， 即 x 到 -rr,-21, Hr, r =0， 所 以 
h,'A"A^"h, «0 (7. 26) 
h,'A"A"h, - h,'A"A"h, (7. 27) 





IN (7.26) 和 式 (7.27) 为 摄像 机 内 部 参数 求解 提供 了 两 个 约束 条 件 。 由 于 平面 标定 模板 
的 单 应 性 矩阵 具有 8 个 自由 度 ， 外 部 参数 占 了 其 中 的 6 个 (3 个 旋转 和 3 个 平移 参数 ) ， 
此 只 能 利用 剩 下 的 2 个 约束 条 件 。 

2. 参数 求解 

















^ 
b, b; bis 
B-A'"A'- by ba bs 
ba by bs 
| 工 E vot. — upf, 
TA dd 太太 
- E PE S| 
TZ fb d Jul Hh 
volt — uof, | UVH - uof,) | Uo (vot — wf, )? 5 41 
- ff. Ff, 5 PH rs 
可 以 看 出 ，B 为 对 称 矩 阵 ， 定 义 6 维 矢 量 b=[b bo ba bu bs bal, WE 
h; Bh, = vb (7. 29) 


Xm, h,= [ha ha hl", 9; = [ hah, haho * hah; hah hah, * hh hah, + haha 
haha ]" 根据 约束 条 件 式 (7.28) 和 式 〈7. 29) ， 可 得 关于 矢量 的 两 个 齐 次 方程 ， 即 


Vi 
NAME dm 
(9$ - 95). 
若 有 nn 幅 平面 模板 图 像 ， 根 据 式 (7. 30) ， 可 得 到 线性 方程 组 为 
Vb -0 (7. 31) 


式 中 ,为 一 个 2n x6 的 矩阵 。 如 果 n 三 3， 则 可 以 列 出 6 个 以 上 的 方程 ， 从 而 解 出 一 个 带 有 
比例 因子 的 6。 如 果 n=2， 那 么 方程 的 个 数 少 于 未 知 数 的 个 数 。 考 虑 到 常用 CCD 传感器 世 
片 都 是 方形 ， 可 以 假定 4 中 的 坐标 轴 夹 角 为 90*， 即 倾斜 因子 =0, WA [0 1 0 0 0 

0] 5 =0， 这 就 为 式 (7.31) 提供 了 一 个 新 的 约束 条 件 。 如 果 n =1， 需 进一步 假定 摄像 机 
的 光学 中 心 投影 在 图 像 的 中 心 ， 方 可 解 出 。 式 (7.31) 的 最 小 二 乘 解 为 YY 最 小 的 特征 值 
对 应 的 特征 矢量 。 
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求 得 b 即 可 获得 矩阵 B， 根 据 式 (7.28) 可 求 得 摄像 机 的 各 个 内 部 参数 ， 即 





vy = (bab, = baba )/ (bib - b3) 

f, = Jk/b, k = ba - [b +v (baba - buba) ]/b,, 

f, = kb, / (baba - b3) (7. 32) 
u = 一 Do 太太 MA 





uo = Mo 人 一 0 大 大 

利用 A 和 单 应 性 矩阵 如， 对 每 个 不 同 姿态 的 摄像 机 外 参数 可 按 如 下 公式 求 得 : r = 
AA 1 r, AA !h,, r, rrj, T-AA hj, A=1/ Ah | 21/lA IA || o 

由 于 噪声 的 存在 , R-[r, r, r] 一 般 不 满足 旋转 矩阵 的 性 质 ， 这 里 采用 最 小 距离 准 
则 来 求 R 最 优 解 。 

3. 最 大 似 然 估 计 

通过 最 小 距离 准则 计算 出 的 R 的 解 在 物理 上 没有 意义 ， 需 要 采用 最 大 似 然 估计 对 结 
进行 精确 求解 。 

设 及 n 幅 关于 模板 平面 的 图 像 ， 每 幅 图 像 中 有 m 个 标定 点 ， 每 个 标定 点 的 数据 都 被 独 
立 同 分 布 的 噪声 污染 。 建 立 目 标 函 数 如 下 : 


min > >, | m; - m CA,R,,T,, M) I? (7.33) 
i=1 j=1 


式 中 ，m 为 第 1 幅 图 像 中 第 j 个 标定 点 的 像 点 坐标 ; R, T, HAT CREE RU GR ANE 
EAERI, ACA, Ro Ty, M) 是 第 i 幅 图 像 中 的 第 j 标定 点 的 世界 坐标 的 M, 通过 式 
(7.22) 求 得 的 像 点 坐标 。 式 (7.33) 是 典型 的 最 小 二 乘 问题 ， 可 以 采用 Levenberg-Marquar- 
at 算法 求 得 稳定 解 。 

4. 径 向 畸变 系数 计算 

上 述 标定 过 程 没 有 考虑 摄像 机 镜头 畸变 ， 实 际 摄像 机 镜头 在 远离 图 像 中 心 较 远 处 会 产生 
较 大 的 几何 畸变 。 这 里 主要 考虑 一 次 和 二 次 径 向 畸变 ， 忽 略 其 他 畸变 因素 。 摄 像 机 镜头 径 向 
畸变 模型 为 











x 2x tx [kx | S s n ue ] (7.34) 
y y +y [hx -y )th(x y Y] 
根据 像 平面 和 图 像 坐标 的 转换 关系 u =$ ey! eu, Mosk tn, HERE 


u =u t*(u *tuy[k((u +u)? + Vv +0) ) +k,((u' +u)? +(v -W?)] 

v =v * (v! ew)[E (Qu +u)? + Cv -w)) +h((u +u)? -(v-?)] 

(7. 35) 

(u, v) 为 无 畸变 影响 的 理想 的 图 像 像 素 点 坐标 ，(u’，v') 为 图 像 实际 像素 点 坐标 。 对 上 式 
整理 得 

I ug) ((u' cu) * (v +40)) (w+tu) (Cu tw) Qv o» Irl- | n] 


(v' +v) (uw + uy)? tv t0) (v' c vy) (Cu! + uy)? tv +w) k, 
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对 于 给 定 的 n 幅 标定 图 像 ， 每 幅 m 个 点 ， 共 mn 个 标定 点 ， 可 以 得 到 2mn 个 方程 ， 用 和 拢 
阵 表 示 为 
Dk = d (7.37) 
式 中 , k= [k k,]", 3È (6118) 的 最 小 二 乘 解 为 
k = (D'D)D'd (7.38) 


RTk, de 后 ， 采 用 前 面 类 似 的 最 大 似 然 估 计 方 法 建立 目标 函数 ， 即 


min > > | m; - À(A,k , b ,R,,T,, M) |? (7.39) 
i=l j=1 


采用 Levenberg-Marquarat 算法 求 得 最 优 解 8 
7.3” 双 摄像 机 双 光 源 视线 追踪 系统 构成 


双 摄 像 机 双 光 源 的 视线 追踪 系统 硬件 构成 如 图 7.10 所 示 ， 主 要 由 电荷 耦合 元 件 
(Charge Coupled Device, CCD) 摄像 机 、 图 像 采集 卡 、 通 用 输入 /输出 (General Purpose In- 
put/Output, GPIO) 卡 、PC、 单 片 机 和 红外 光源 组 成 。 双 CCD 摄像 机 组 成 的 立体 视觉 系统 
除了 完成 图 像 采 集 以 外 ， 还 实现 了 三 维 空间 坐标 测量 ， 为 视线 追踪 系统 提供 了 瞳孔 中 心 和 角 
膜 反 射 的 三 维 坐标 信息 。 图 像 采 集 卡 分 别 完成 视频 源 采 集 和 预 处 理工 作 ， 并 将 信息 传输 到 
PC 进行 图 像 处理 。 单片机 的 外 部 中 断 在 捕获 到 GPIO 卡 提供 的 图 像 帧 同步 信号 后 ， 控 制 两 个 
红外 光源 交替 亮 灭 。 从 可 在 任 一 个 CCD 摄像 机 的 相 邻 两 帧 图 像 中 ， 分 别 得 到 用 户 的 “ 亮 瞳 ?” 
和 “ 暗 瞳 ”两 种 图 像 。 红 外 光源 使 用 了 近 红 外 LED， 波 长 为 880 nm。 在 配合 了 相应 的 滤 光 
片 后 ， 既 可 以 产生 “ 亮 暗 瞳 ”， 又 不 会 由 于 光照 影响 用 户 的 使 用 。 双 光源 实物 如 图 7.11 所 
示 。 系 统 设计 要 求 视线 方向 误差 约 1. 5°。 视 线 屏幕 落 点 误差 15mm 左右 。 





























偶 帧 信号 
图 7.10 硬件 系统 结构 图 7.11 双 光 源 实物 图 





视线 方向 计算 模型 及 系统 标定 要 求 

1. five-spot 模型 

本 节 的 视线 追踪 系统 采用 8. 2. 2 节 基 于 立体 视觉 的 five-spot 模型 计算 眼球 光 轴 。 如 图 
7.12 所 示 ，five-spot 模型 基本 内 容 简 述 如 下 。 
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根据 球面 反射 成 像 原理 ， 光 源 C, 、 c 
C, 经 角膜 球面 反射 所 成 的 像 P, Pa 在 N 
光源 与 角膜 球面 中 心 0 的 连 线 上 。 即 
在 角膜 球面 未 知 的 情况 下 ， 可 以 由 直线 
CP, 与 直线 CP, 的 交点 确定 中 心 点 0 LAAS 一 角 脐 球面 中 必 
的 位 置 。 又 根据 球面 折射 成 像 原 理 ， 瞳 S 
孔 与 经 角膜 球面 折射 所 成 的 像 在 同一 半 ki NO giu 。 
径 方 向 上 ， 即 瞳孔 中 心 PP 5S EL pa E d 
虚像 P, 都 在 眼球 光 轴 上 。 所 以 在 瞳孔 | C 

中 心 2 未 知 的 情况 下 ， 可 以 用 瞳孔 中 图 7. 12  five-spot 模型 示意 图 
心虚 像 P, 代替 Pi 估计 眼球 光 轴 。 利 用 

five-spot 模型 ， 视 线 方向 的 计算 步骤 如 下 : 

1) 光源 C,. C, 及 其 虚像 P, P, 形成 两 条 直线 一 CP, GP, FER C.P, 与 CP, 
相交 ,那么 其 交点 0 就 是 角膜 球面 中 心 。 若 直线 CP 与 C,P, 为 异 面 直线 〈( 即 由 于 误差 不 
完全 相交 ) ， 则 需求 出 两 直线 的 公 垂 线 ， 公 重 线 的 中 点 0 即 为 角膜 球面 中 心 。 

2) 连接 角膜 球面 中 心 0 和 瞳孔 中 心虚 像 P, ， 直 线 OP, 就 是 眼球 光 轴 。 

3) 根据 用 户 标定 结果 ， 利 用 光 轴 OP, 和 补偿 角 o. B 得 到 视线 方向 OP, 

4) 计算 视 轴 与 计算 机 屏幕 交点 即 为 视线 注视 点 。 

2. 摄像 机 及 系统 标定 要 求 

















Pys 


由 上 述 five-spot 模型 可 知 ， 视 线 方向 计算 需要 知道 角膜 反射 点 已 、 己 ， 瞳 孔 中 心虚 像 
光源 中 心 点 C, 、C, 的 三 维 空间 坐标 。 视 线 在 屏幕 的 落 点 计算 需要 知道 屏幕 的 平面 方程 。 
Py, Pi, P, 三 维 坐标 由 系统 摄像 机 通过 双 目 立体 视觉 获 了 到， 因此 双 系 统 摄像 机 需要 进 


行 摄像 机 标定 及 双 目 立体 系统 标定 ， 获 得 摄像 机 内 外 参数 及 双 目 视觉 结构 参数 ， 进 而 通过 立 
体 视觉 重建 P,。、P,、P, 在 系统 摄像 机 坐标 系 (原点 为 双 系统 摄 像 机 中 的 一 个 摄像 机 的 光学 
中 心 ) 中 的 三 维 空间 坐标 。C, 、C,、 屏 幕 平面 由 于 位 于 系统 摄像 机 视 场 以 外 ， 则 需 由 系统 


标定 获得 。 

由 于 整个 标定 过 程 步骤 繁多 ， 引 入 的 
误差 因素 较 多 ， 为 方便 控制 整个 系统 的 标 
定 精度 ， 下 面 以 系统 视线 屏幕 落 点 误差 
15mm 为 依据 ， 通 过 视线 计算 模型 简要 给 
出 误差 估算 和 系统 标定 要 求 。 

(1) 光源 标定 精度 要 求 

如 图 7.13 所 示 ， 当 光源 标定 不 准确 
时 ， 实 际 光源 C, 与 测量 的 光源 C; 有 误差 
AC， 则 计算 得 到 的 角 腊 球面 中 心 变 成 O' , 
i Eun un 图 7.13 光源 标定 误差 影响 示意 图 
THE SM PPE AM 的 误差 。 根 据 相似 三 角 
形 原 理 ， 则 有 
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OP, MP, 














A0 = (p AC,AM = p00 (7. 40) 
所 以 
MP, OP, 
Mic IE (7. 41) 





因为 PO P,0, MP,7C,P, 所 以 AM~AC。 由 此 光源 误差 对 最 后 视线 结果 影响 是 等 数 
量 级 传递 ， 系 统 要 求 视线 落 点 误差 为 15mm 左右 ,考虑 到 误差 厂 加 ， 对 光源 位 置 的 标定 误差 
要 求 不 超过 lmm。 这 样 两 个 光源 对 视线 落 点 误差 的 总 影响 不 超过 2mm。 
(2) 屏幕 标定 精度 要 求 
如 果 屏 幕 标定 不 准确 ， 对 最 后 视线 结果 影响 是 等 数量 级 传递 的 。 一 般 要 求 视 线 落 点 误差 
在 15mm 左右 ， 考 虑 到 误差 的 到 加 ， 对 屏幕 位 置 的 标定 误差 要 求 不 超过 lmm。 这 样 屏 幕 位 置 
对 视线 落 点 误差 的 总 影响 不 超过 lmm。 
(3) 光源 的 角膜 反射 像 点 测量 精度 要 求 
如 图 7.14 所 示 ， 当 光源 像 点 测量 不 c, 
准确 时 ,测量 的 光源 像 中 心 Pi 与 实际 光 
源 像 P, 中 心 有 误 差 AP， 这 使 得 角膜 反射 
中 心 产 生 AO 的 误差 ， 视 线 屏 幕 落 点 产生 
AM 的 误差 。 根 据 相 似 三 角形 原理 ， 则 有 
MP, C,0 
- OP, CP 
因为 MP, = C,P,, W) AM = (MP,/0P,) 
AP,, C,0 为 人 到 光源 的 距离 ， 一 般 在 
80cm 左右 ， 因 此 C10 >> OP,。 由 于 OP, 
约 为 10mm， 所 以 (C10/0P。) > 50 。 即 光源 角膜 反射 像 点 误差 会 对 视线 落 点 结果 造成 一 个 
数量 级 以 上 的 影响 。 根 据 系 统 视 线 落 点 误差 要 求 并 考虑 误差 的 又 加 ， 要 求 光源 角膜 反射 测量 
误差 不 超过 0.08mm。 这 样 两 个 光源 像 对 视线 落 点 误差 总 影响 不 超过 0.08mm x 50 x2 = 
8mm, 
(4) 瞳孔 中 心 测量 精度 要 求 
如 图 7. 15 所 示 ， 当 瞳孔 中 心 P, 重建 c 
不 准确 时 ，P 与 测量 值 Ph 有 误差 AP,, 
对 最 后 视线 结果 产生 AM 的 误差 ， 根 据 相 
似 三 角形 有 AM = (MO/OP,)AP, , MO 
| ` 
为 人 到 摄像 机 的 距离 ， 一 般 在 80cm 左右 ， Ah pec MO RUP 
因此 WO > OP,. HF OP, £329 10mm, Pr 
以 (MO/0P,) > 50 。 即 瞳孔 误差 对 最 后 
视线 落 点 结果 造成 一 个 数量 级 以 上 的 影 
响 ， 根 据 系统 视线 落 点 误差 要 求 并 考虑 误 
差 的 三 加 ， 要 求 瞳孔 中 心 测量 误差 小 于 a M i 
0.08mm。 这 样 瞳孔 中 心 误差 对 视线 落 点 误差 总 影响 不 超过 0. 08mm x 50 24mm, 











AM 








AP, (7.42) 


图 7. 14 光源 像 重 建 误差 影响 





角膜 球面 
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(5) 系统 总 体 误差 分 配 关 系 

由 上 述 分 析 可 知 ， 因 为 瞳孔 中 心 、 角 膜 反 射 的 测量 误差 对 立体 视觉 的 标定 要 求 远 高 于 光 
源 和 屏幕 的 要 求 ， 所 以 要 根据 瞳孔 、 角 膜 反 射 的 测量 误差 要 求 设 计 立 体 视觉 系统 。 因 为 光 
源 、 屏 幕 误 差 主要 来 源 于 系统 标定 ， 所 以 要 根据 光源 、 屏 幕 的 误差 要 求 设计 系统 标定 过 程 。 

综 上 所 述 ， 这 里 设计 要 求 如 下 : 立体 视觉 三 维 测 量 精度 约 为 0.08mm。 瞳 孔 和 角膜 反射 
三 维 测量 对 视线 落 点 误差 总 影响 可 控制 在 约 0.08mm x 50 x 3 2 12mm 以 内 。 这 样 留 给 光源 、 
屏幕 的 标定 误差 空间 为 15mm -12mm =3mm。 即 屏幕 和 每 个 光源 标定 允许 有 1mm 的 误差 。 








7.4 基于 平面 镜 反射 的 视线 追踪 系统 标定 


在 多 摄像 机 视线 追踪 系统 中 ， 摄 像 机 置 于 屏幕 前 方 ， 如 网 7.16 所 示 。 屏 幕 和 光源 均 不 
在 系统 摄像 机 的 视野 范围 之 内 ， 无 法 用 系统 自 D —— 
身 的 视觉 系统 测定 系统 各 部 分 相对 位 置 关 系 。 
为 解决 这 个 问题 ， 本 闻 介 绍 一 种 双 摄 像 机 双 光 
源 视 线 追 踪 系 统 的 平面 镜 反射 标定 方法 。 即 将 
一 平面 镜 置 于 系统 前 面 ， 在 平面 镜 镜 面 附着 一 
个 平面 标定 模板 ， 男 一 个 平面 标定 模板 附 在 屏 
幕 上 ， 然 后 用 视线 追踪 系统 摄像 机 拍摄 图 像 ， 
并 要 求 左右 摄像 机 图 像 中 均 有 镜子 、 光 源 及 完 
整 的 屏幕 。 这 样 经 过 摄像 机 标定 后 通过 双 目 视 
党 的 三 维 空间 测量 ， 便 可 求 得 平面 镜 镜 平面 及 
屏幕 和 光源 在 镜子 中 像 的 三 维 坐标 。 通 过 镜面 
空间 点 拟 合 得 到 平面 镜 镜 平 面 方程 ， 再 根据 离 差 得 到 光源 及 屏幕 像 关于 平面 镜 镜 平面 的 对 称 
点 ， 即 光源 的 真实 三 维 坐标 和 屏幕 平面 方程 。 

系统 标定 的 流程 如 下 : 求 平 面 镜 镜 平 面 标定 模板 、 屏 幕 标定 模板 镜像 和 光源 中 心 镜像 的 三 维 
坐标 ; 通过 得 到 的 空间 点 三 维 坐标 估计 平面 镜 镜 平面 及 屏幕 像 平 面 ; 根据 离 差 求 光 源 镜 像 关 于 平 
面 镜 镜 平面 的 对 称 点 即 光 源 的 真实 三 维 坐 标 、 屏 幕 像 平面 关于 平面 镜 镜 平面 的 对 称 平面 屏幕 。 


7.4.1 三 维 空间 坐标 测量 


设 定 左 摄像 机 坐标 系 为 0 一 xiyiz1， 位 于 世界 坐标 系 原点 且 无 旋转 ; 世界 坐标 系 为 0 一 
XYZ， 像 平面 坐标 为 0 一 x'y'， 图 像 坐标 系 为 。 一 uv,， 焦 距 为 右 摄 像 机 坐标 系 为 0 一 
yz ， 像 平面 坐标 系 为 0 一 XY ， 图 像 坐 标 系 为 0 一 uv,， 焦 距 为 /.。 设 空间 一 点 4 的 坐标 
为 (x，y，z) ， 双 目测 量 原理 如 图 7. 17 所 示 。 

根据 摄像 机 透视 变换 模型 有 




















图 7.16 视线 追踪 系统 
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H 为 投影 矩阵 ， 同 理 设 右 摄 像 机 的 投影 矩阵 为 
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由 两 摄像 机 关系 得 到 
hi 


b uho h, Z wuhio hs 一 uhi, uhi, 一 h; 
hs - why hg uie e EIE ut, 一 hs (7.44) 
hi -u,h, h, -uho h; -uha lz uhi, hà 
h; wh Aa -uho hi -uhi uh; — hi 


其 中 有 3 个 未 知 数 和 4 个 方程 ， 求 该 超 定 方程 组 的 
最 小 二 乘 解 即 可 得 到 (X, Y, Z)o 

在 已 知 两 台 摄像 机 的 内 参数 及 空间 点 在 左右 摄 
像 机 所 拍摄 图 像 中 的 图 像 坐 标 后 ， 即 可 按照 上 述 方 
法 得 到 被 测 点 的 三 维 坐标 。 

但 是 在 实际 应 用 中 ， 摄 像 机 的 成 像 模 型 并 非 理 
想 的 小 孔 成 像 模型 ， 而 图 像 匹 配点 的 确定 和 标定 过 
程 都 会 引入 微小 的 误差 ， 这 使 得 图 7. 17 所 示 的 两 
条 直线 可 能 不 会 相交 。 由 于 这 两 条 直线 不 可 能 平 
行 ， 只 能 是 异 面 直线 。 这 两 条 直线 无 交点 时 ， 上 述 
方程 组 无 解 ， 无 法 确定 点 4 的 空间 坐标 。 为 解决 这 
个 问题 ， 可 使 用 公 垂 线 法 计算 空间 点 的 坐标 ， 相 交 









































直线 可 视 为 公 垂 线 长 度 为 零 的 特殊 异 面 直线 。 图 7.17 双 目 测量 原理 
如 图 7.18 所 示 ， 假 设 两 条 异 面 直线 LL、L, 矢 AaFK AERC 
量 为 lL L, 点 Mis m, 分 别 为 两 条 异 面 直线 上 的 Si Pi 
点 。 当 1 mm | 值 最 小 时 ，mm 加 即 为 两 条 异 面 直 
RAER, (m, + m,)/2 为 公 垂 线 中 点 的 坐标 。 " L 
由 异 面 直线 的 公 垂 线 和 异 面 直线 的 关系 可 以 得 到 模型 点 TM : 
uus Eos i (7.45) 右 像 平 面 P, mz 
即 1 2 2 2 s 
(b * al,) - (P, + BL)) |l = 0 
((P, +al,) - (P, *BL)) :Lb, 20 图 7. 18 SEREM 
(7. 46) 
求解 方程 得 到 位 置 系数 w、B， 有 
(P, - P) <h 三 CCP, - P) L) i (L L) 
" 1 - (L B L)’ 
(erja ok Rek uL 
p= 1- 0, - 5) 


带 入 公 垂 线 的 直线 方程 中 ， 求 得 | mm | 的 大 小 ， 如 果 1 mml 小 于 设 定 的 阔 值 ， 则 可 认 
为 空间 点 的 坐标 为 (mi + m,)72 。 


7.4.2 平面 估计 
在 得 到 屏幕 镜像 和 平面 镜 上 的 一 系列 点 的 三 维 坐标 后 ， 分 别 对 这 些 点 做 平面 拟 合 ， 得 到 


EE 
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平面 镜 镜 平 面 和 屏幕 镜像 平面 。 设 平面 方程 为 
Z = ax + ay + a5 (7.48) 


对 于 所 求 得 的 nn 个 点 ， 其 中 点 坐标 为 (x, y, zi), i20, 1, 0, n-1 (n23), X 
估计 上 述 平面 方程 ， 则 需 使 9S = > (oox + wy + a, -2z) 最 小 ， 应 满足 2 =o, k=0, 1, 2, 
i-0 k 


Bp 








x; Ny; X; | (ao Nx 
Yxy, Xy; XEyj||a |=| SY, (7. 49) 
Xx, >y, n a, 2z; 
解 上 述 方程 组 ， 即 得 到 平面 方程 z=aox +ay + ao 


7.4.3 确定 屏幕 平面 及 光源 中 心 的 空间 位 置 


根据 图 7. 19 中 平面 镜 成 像 原理 ， 设 屏幕 镜像 平面 7 上 点 MG, yis zn), T, 为 屏幕 了 
的 镜像 平面 ， 点 人 为 点 O, yi, z) 的 镜像 ， 镜 平面 7: Ax + By+ Cz +D =0, 法 矢量 为 


; 、 Ax, +B7i + Cz, +D m 
n, V M 到 镜 平 面 7 的 离 差 为 6 = BFM, 位 于 镜面 7 的 异 侧 ， 
- Pe M 





此 其 离 差 互 为 相反 ， 即 



































屏幕 镜像 平面 
Ax, + By, + Cz, +D 
- : 平面 镜 
Ax, +B C D 
2o Ax, + By, + Cz, + (7.50) 
VE +B +C 
340733 ya Yi 575 
而 MO ， 故 有 1-5 2 ue 
p， 由 此 可 得 
2(Ax, + By, + Cz, + D) 
H JEB C 图 7.19 平面 镜 成 像 原 理 
(7.51) 
整理 上 几 式 可 得 到 Q(x, Yrs Z) Bp 
Y, X, A 
yo zz yi =P B (7. 52) 
Z3 zi C 


HFAM, QAF m 互 为 对 称 点 ， 由 式 (7.52) 可 得 到 
2A(Ax, + By, + Cz, + D) 
X, = X,— 
2B(Ax, + By, + Cz, + D) 
V4 +B +C 
2C(Ax, + By, + Cz, + D) 





(7. 53) 





Yi = J3 





Z1 — £2, 一 
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将 式 (7.53) 代入 屏幕 镜像 T, 的 方程 ， 即 得 到 屏幕 7,。 光 源 中 心 的 三 维 坐标 也 可 通过 式 
(7.52) 求 出 。 由 以 上 步 又 可 求 出 光源 中 心 L, L, 的 真实 三 维 坐标 ， 以 及 屏幕 的 平面 方程 。 


7.4.4 实验 结果 


通过 平面 镜 拍摄 的 图 像 如 图 7. 20 所 示 。 从 图 中 可 以 看 出 ， 光 源 及 屏幕 都 出 现在 双 摄 像 
机 可 视 范 围 内 。 首 先 ， 对 图 像 进行 预 处 理 ， 通 过 Hough 变换 检测 得 到 屏幕 标定 模板 和 平面 镜 
标定 模板 上 角 点 的 图 像 坐 标 ， 检 测 出 图 像 中 光源 所 在 的 外 环 圆 ， 再 求 出 圆心 坐标 。 图 7. 20 
所 示 标 定 模板 上 部 分 角 点 和 光源 中 心 的 图 像 坐 标 见 表 7. 1。 得 到 标定 模板 所 有 可 配对 的 角 点 
及 光源 中 心 的 图 像 坐 标 后 ， 根 据 本 书 7.4.1 节 中 的 方法 计算 出 各 点 的 三 维 坐标 ， 再 通过 拟 合 
得 到 平面 镜 镜 平面 和 屏幕 镜像 平面 ， 根 据 平 面 镜 成 像 的 离 差 计算 出 真实 光源 中 心 的 空间 坐 
标 、 屏 幕 平面 的 空间 位 置 。 标 定 的 屏幕 平面 方程 为 zx 20.3028x - 0. 0310y - 105.3851。 标 定 
的 光源 中 心 坐 标 为 (xi,yi,z1) = (- 0.5223 ,0. 4484 ,28. 4076) , (x,,y,,2,) = (53.0928, 
1. 0885 ,28. 2253 ) 














a) 系 统 左 摄像 机 拍摄 的 图 像 b) 系 统 右 摄像 机 拍摄 的 图 像 





图 7.20 借助 平面 镜 拍 摄 的 图 像 对 
表 7.1 部 分 标定 点 的 图 像 坐标 与 三 维 坐标 









































序号 图 7. 20a 所 示 图 像 坐标 图 7. 20b 所 示 图 像 坐 标 实际 三 维 坐标 

1 (35. 11, 83.42) (11.68, 108.25) (96.3, -56.7, 524.1) 

平面 镜 标 2 (79.20, 77.53) (53.15, 103.44) (85.3, —59.3, 535.3) 

定 模板 角 点 3 (122.70, 73.01) (96.03, 97.61) (73.7, -61.7, 545.9) 

4 (165.48, 67.55) (138.90, 93.24) (61.7, -63.6, 556.6) 

1 (381. 77, 27.05) (447.14, 17.26) (19.1, -173.7, -140.8) 

屏幕 标定 2 (413.02, 26.12) (478.09, 15.30) (3.0, -174.6, -140.9) 
模板 角 点 3 (442. 64, 25.08) (508.49, 13.25) (-12.9, -175.4, -141.1) 
4 (472.58, 24.13) (539.02, 12.16) (-29.1, -177.1, -141.3) 

dito A (439. 26, 241.38) (506.33, 261.29) ( 22.01, 4.53, 27.31) 

右 (533.94, 236. 40) (601.13, 260. 77) ( —51.41, 2.00, 31. 73) 


7.5 基于 多 摄像 机 全 局 标定 的 视线 追踪 系统 标定 


在 本 书 7. 3 节 中 给 出 了 双 摄 像 机 双 光 源 视线 追踪 系统 的 反射 标定 方法 ， 反 射 法 是 多 摄像 
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标定 法 有 如 下 缺点 : 

1) 使 用 平面 镜 成 像 会 产生 一 定 程度 的 模糊 与 形变 ， 加 大 了 标定 过 程 中 特征 点 提取 的 难 
度 和 误差 ; 

2) 使 用 平面 镜 成 像 ， 真 正 的 成 像 面 是 水 银 面 ， 而 标定 靶 标 贴 在 平面 镜 的 玻璃 面 上 ， 水 
银 面 和 玻璃 面相 差 大 约 Smm 的 距离 ， 势 必 会 引入 误差 ; 

3) 为 了 拍摄 到 完整 的 光源 及 屏幕 ， 需 要 较 大 的 平面 镜 ， 故 标定 过 程 需要 转动 厚重 的 平 
面 镜 标定 靶 并 且 难 以 固定 ， 为 标定 过 程 带 来 不 便 ; 

4) 平面 镜 上 靶 标 与 平面 镜 中 显示 的 屏幕 和 光源 像 的 景深 是 真实 景深 的 2 倍 ， 很 难 同 时 


得 到 两 者 的 清晰 图 像 。 
Yi 
j us sene [o 
P xp 




















本 市 介 绍 了 一 种 基于 多 摄像 机 全 局 
标定 的 视线 追踪 系统 标定 方法 。 这 种 方 
法 主要 是 针对 反射 标定 法 的 不 足 和 双 摄 
像 机 双 光 源 视 线 追 踪 系 统 的 标定 要 求 提 
出 的 。 该 方法 通过 在 屏幕 和 光源 对 面 放 


















置 一 对 标定 摄像 机 ， 从 而 与 系统 摄像 机 CIq 组 摄像 机 E 
构成 多 摄像 机 系统 。 标 定 摄像 机 直接 拍 “你 | 
摄 标定 目标 ， 测 量 系统 摄像 机 、 光 源 和 | 
屏幕 之 间 的 空间 位 置 关系 。 通 过 全 局 标 图 7.21 视线 追踪 系统 标定 示意 图 


定 确定 系统 摄像 机 和 标定 摄像 机 的 坐标 

转换 关系 。 通 过 坐标 转换 最 终 标 定 出 系统 摄像 机 坐标 系 中 摄像 机 、 光 源 、 屏 幕 的 空间 位 置 关 
系 。 该 方法 解决 了 屏幕 和 光源 不 在 系统 摄像 机 视野 范围 内 的 问题 。 标 定 摄像 机 的 焦距 较 大 且 
将 之 置 于 离 标定 靶 相对 较 远 的 位 置 。 这 样 能 够 将 屏幕 和 光源 都 显示 在 标定 摄像 机 图 像 中 ， 并 
有 效 克 服 了 景深 问题 。 系 统 摄像 机 和 标定 摄像 机 之 间 的 空间 位 置 关 系 由 全 局 标定 获得 ， 所 用 
标定 靶 为 薄 平 面 双 面 棋盘 格 。 





























由 上 述 内 容 可 知 ， 基 于 全 局 标定 的 视 
线 追 踪 系 统 标定 包含 以 下 内 容 : 

1) 摄像 机 标定 和 双 目 视觉 系统 标定 ， 
用 来 保证 基于 视觉 的 三 维 空间 测量 。 三 维 
空间 测量 是 提取 视线 参数 的 手段 ， 也 是 系 
统 标定 的 基础 。 

2) 视线 追踪 系统 光源 、 屏 幕 空间 位 置 ee 
测量 可 称 为 系统 标定 。 系 统 标定 是 获取 三 
维 视线 方向 的 必要 条 件 。 T 











求 采 用 一 种 基于 多 摄像 机 全 局 标定 的 视线 i 
系统 标定 方法 。 ~~ 


为 解决 系统 标定 中 屏幕 和 光源 在 摄像 | | 
机 拍摄 范围 之 外 的 问题 ， 基 于 上 述 设 计 要 M [ee] 7 
NM" d 


为 了 方便 表达 ， 以 下 将 系统 双 摄 像 机 图 7.22 视线 追踪 系统 标定 流程 


: 182 . 视线 追踪 





WHE G 组 摄像 机 ， 将 标定 双 摄 像 机 记 作 S 组 摄像 机 ， 为 了 使 整个 视线 追踪 系统 处 于 统一 的 
坐标 系 ， 建 立 以 G 组 左 摄像 机 光 心 为 原点 的 世界 坐标 系 。 将 一 个 正 反面 完全 对 称 的 棋盘 格 
标定 靶 置 于 两 组 摄像 机 之 间 任 意 位 置 ， 转 动 标定 靶 ， 并 用 两 组 摄像 机 拍摄 各 个 位 置 的 标定 
轴 。 首 先 ， 通 过 拍摄 的 标定 靶 图 像 进行 单 摄像 机 标定 ， 计 算出 各 摄像 机 的 内 外 参数 。 再 对 每 
组 摄像 机 进行 组 内 双 目 立体 系统 标定 ， 计 算出 组 内 摄像 机 之 间 的 结构 参数 ， 从 而 计算 出 标定 
靶 上 每 个 控制 点 在 每 组 摄像 机 坐标 下 的 三 维 空间 坐标 。 最 后 ， 利 用 同名 坐标 统一 法 计算 出 两 
对 摄像 机 之 间 的 位 置 关系 , 将 S 组 摄像 机 的 测量 结果 转换 至 G 组 摄像 机 坐标 系 。 从 而 解决 
了 显示 屏幕 和 光源 在 G 组 摄像 机 视野 范围 之 外 而 无 法 测量 的 问题 。 标 定 系统 如 图 7. 21 所 示 ， 
视线 追踪 系统 标定 流程 如 图 7. 22 所 示 。 


7.5.1 单 摄像 机 标定 


张 正 友 法 是 一 种 采用 非 线性 摄像 机 模型 ， 基 于 2D 平面 模板 的 摄像 机 标定 方法 。 考 虑 了 
光学 镜头 的 径 向 畸变 系数 ，h。 一 般 认为 径 向 畸变 影响 大 于 切 向 畸变 ,但 标定 摄像 机 系统 
为 使 光源 和 屏幕 同时 成 像 ， 采 用 得 焦 镜 头 ， 视 场 范围 较 宽 ， 因 此 镜头 畸变 较 大 。 为 保证 视线 
系统 标定 精度 和 视线 参数 检测 精度 ， 综 合 考虑 径 向 和 切 向 畸变 启 ， 访 ， 户 ， 访 的 影响 ， 采 用 
改进 的 张 正 友 法 "进行 摄像 机 标定 。 


7.5.2. 双 摄 像 机 立体 视觉 系统 标定 
双 摄 像 机 双 光 源 视线 追踪 系统 中 ， 追 踪 用 双 视 觉 系统 和 标定 用 双 视 觉 系 统 都 需要 检测 空 


间 三 维 几何 信息 ， 因 此 需要 对 S 组 和 G 组 [es] 
摄像 机 分 别 进行 双 视 觉 系统 标定 。 

设 7.4.1 节 已 经 分 别 标定 出 双 目 立体 
视觉 中 左右 摄像 机 的 外 部 参数 R、7 和 
R., T, SIRRA, HEIS MER A 
标 系 之 间 相 对 位 置 关系 。 则 双 视觉 系统 两 
个 摄像 机 之 间 的 相对 几何 位 置 关系 可 用 式 
(7.54) 表示 m1 ， 双 视觉 系统 结构 参数 标定 
流程 如 图 7. 23 所 示 。 

R = RR 
















































两 个 摄像 机 之 间 的 相对 位 置 关系 


双 摄 像 机 结构 参数 


(7.54) ”图 7.23 双 摄 像 机 立体 视觉 系统 结构 参数 标定 流程 
T=7,-RR'T, 


7.5.3 视线 追踪 系统 的 多 摄像 机 全 局 标定 


摄像 机 标定 和 双 视 觉 系统 标定 后 ， 在 完成 三 维 空间 测量 的 基础 上 ， 通 过 标定 摄像 机 组 对 
系统 摄像 机 不 能 直接 拍摄 的 屏幕 及 光源 进行 标定 。 然 后 ， 通 过 全 局 标定 确定 系统 摄像 机 和 标 
定 摄像 机 之 间 的 关系 。 最 后 ， 通 过 坐标 转换 确定 屏幕 及 光源 在 系统 摄像 机 坐标 系 中 的 位 置 关 
系 。 

1. 多 摄像 机 坐标 转换 

标定 系统 中 S 组 摄像 机 和 G 组 摄像 机 的 标定 就 是 两 系统 之 间 的 坐标 转换 问题 和] 。 三 维 
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空间 中 同一 点 已 可 用 两 个 坐标 矢量 表示 。 一 个 是 $ 组 摄像 机 坐标 系 ， 即 P = 
(xs Ys zI ; 另 一 个 是 G 组 坐标 系 Py = (Xg Ye z g Ps 和 Pe 通常 称 为 点 PP 的 同名 
矢量 ， 它 们 在 不 同 坐 标 系 下 描述 相同 点 P。 从 S 组 摄像 机 到 G 组 摄像 机 的 坐标 转换 可 以 定义 








为 
Xe Xs 
Ye = R Ys +T (7.55) 
Zg Zs 
5 dy 7m T, 
i greet 


0 1 f; foy d, 
0 0 0 1 
它 为 S 组 摄像 机 坐标 系 到 G 组 摄像 机 坐标 系 转换 矩阵 。 
目标 靶 是 全 局 标定 实现 的 必 备 条 件 ， 其 作用 是 为 各 摄像 机 全 局 定位 提供 相应 的 标定 控制 
点 。 本 系统 通过 制定 正 反面 完全 对 称 的 棋盘 格 目标 靶 将 两 组 摄像 机 联系 起 来 ， 以 保证 两 组 摄 

















像 机 视野 中 观察 到 的 三 维 点 是 在 同一 个 坐标 点 。 由 四 对 以 上 同名 矢量 确定 转换 矩阵 Hz, H 
求解 实际 上 转化 为 最 小 二 乘 问题 。 建 立 目 标 函 数 '7” ; 
minF = p | Po — HP, | (7. 56) 


P, = (x; ye Ze 1) JP, = (Xs Ys zs 1)" 分 别 为 P, 和 P. 的 齐 次 坐标 表示 。 式 
(7.56) 中 HS 的 求解 是 线性 的 ， 且 至 少 需要 四 对 同名 矢量 。 用 多 于 四 对 的 同名 矢量 可 提高 
标定 精度 ， 此 时 HI 的 解 可 用 最 小 二 乘 线性 回归 求 得 
Hs = GS (SS) (7. 57) 

Poy Pop e “可 Pa Pg = el 
1 1 … 1 1 i Se f 
式 中 , n 为 标定 点 数 ， 且 n >4。 

式 (7.57) 求 得 的 转换 矩阵 HS 只 是 拟 合 标 定点 的 最 优 解 ， 但 并 不 是 确定 两 直角 坐标 系 
相互 关系 的 最 优 解 ， 因 为 HS 不 满足 正 交 约束 条 件 。 由 此 引入 带 有 正 交 约 束 的 最 小 二 乘 问 
题 ， 即 








G=| $=] 





N 

。 p Gp 
M - 2 | P, - HEP, | T 

R'R-I-0 
将 正 交 约 东 构造 为 如 下 函数: 

Q,n4ene£n-1 

5 =r +r +r -l 
h +r +r -l (7. 50) 


= nn F TuaTs 十 7778 
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利用 罚 函 数 法 将 约束 最 优 目标 函数 转化 为 无 约束 最 优 目标 函数 ， 即 
minF = > | Bu - HP |? HMM (7. 60) 
XP, M 为 罚 因 子 ， 用 于 控制 求解 R 矩阵 正 交 性 误差 大 小 。 约 束 条 件 的 加 入 使 得 算法 非 线 
性 ,使 用 式 (7.57) 的 线性 算法 确定 的 Hz 作为 式 (7.60) 的 初 值 ， 然 后 进行 快速 非 线性 搜 
索 ， 直 至 获得 最 佳 的 转换 矩阵 Hz, GHH, S 组 坐标 系 中 点 的 对 应 关系 如 图 7. 24 所 示 。 





a) G 组 坐标 系 中 的 三 点 b) S 组 坐标 系 中 的 三 点 








图 7.24 G、S 组 坐标 系 中 点 的 对 应 关系 图 








2. 显示 屏幕 标定 

利用 S 组 摄像 机 拍摄 贴 有 标定 模板 的 屏幕 图 像 ， 如 图 所 示 。 选 取 左 右 摄像 机 均 能 观测 到 
的 角 点 ， 利 用 Harris 角 点 检测 算法 检测 出 所 选 角 点 的 左右 图 像 坐标 ， 通 过 双 视 觉 测量 空间 控 
制 点 的 三 维 重 建 模型 ， 计 算得 到 屏幕 上 这 些 点 在 S 组 摄像 机 坐标 系 下 的 三 维 坐标 。 然 后 ， 通 
过 多 摄像 机 结构 参数 将 之 转换 到 G 组 摄像 机 坐标 系 下 ， 这 样 便 得 到 G 组 摄像 机 坐标 系 下 显 
示 屏 幕 上 点 的 三 维 坐标 。 最 后 ， 利 用 多 点 平面 拟 合法 求 得 显示 屏幕 所 在 平面 的 平面 方程 。 

3. 光源 标定 

光源 标定 是 指 测量 出 环形 光源 的 环形 中 心 在 系统 摄像 机 坐标 系 中 的 三 维 空间 坐标 。 因 
此 ， 对 光源 的 标定 类 似 于 屏幕 标定 ， 即 只 要 求 出 图 像 中 光源 所 在 圆 的 圆心 坐标 ( 即 光源 环 
中 心 的 图 像 坐 标 ) 。 这 样 ， 便 可 利用 双 视 觉 方法 测量 光源 中 心 在 S 组 摄像 机 坐标 系 下 的 三 维 
坐标 。 首 先 ， 提 取 图 像 中 光源 所 在 的 局 部 图 像 ， 如 图 7. 26 所 示 。 图 像 中 发 光 二 极 管 与 背景 
对 比 度 很 高 ， 光 源 中 心 标定 过 程 如 下 : 

1) 对 图 像 进行 预 处理 ， 得 到 二 值 化 后 的 光源 图 像 。 

2) 对 图 像 进行 边缘 检测 。 

2) 利用 广义 Hough 变换 “1 算法 分 别 检测 出 左右 摄像 机 所 拍 图 像 中 每 个 光源 所 在 的 外 
环 圆 ， 并 求 出 其 中 心 坐标 。 

找 出 光源 所 在 圆 的 中 心 之 后 ， 再 对 这 些 中 心 点 的 坐标 利用 最 小 二 乘 拟 合 方法 画 出 所 在 椭 
圆 ， 最 后 求 出 中 心 点 坐标 ， 这 个 坐标 即 为 系统 的 光源 中 心 点 坐标 。 最 小 二 乘 拟 合 方法 具体 内 
容 如 下 : 

在 二 维 的 平面 坐标 系 中 ,椭圆 可 用 两 种 形式 来 表示 "… ” 。 一 种 是 利用 圆锥 曲线 方程 ， 即 

Ax! + Bxy + Cy! c Dx c Ey - F -0 (7. 61) 

男 一 种 是 用 平面 坐标 系 的 几何 参数 表示 。 设 椭圆 中 心 位 置 为 (x,，y。)， 长 轴 和 短 轴 分 
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Y, (摄像 机 坐标 ) 


Ye (摄像 机 坐标 ) 
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b) 右 摄像 机 拍摄 图 像 
图 7.25 屏幕 标定 图 
左 摄像 机 光源 中 心 检测 











100 200 300 400 500 600 
a) 左 摄像 机 拍摄 图 像 b) 右 摄像 机 拍摄 图 像 


图 7.26 光源 中 心 坐标 检测 图 
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别 为 a、b5， 长 轴 的 转角 为 6。 而 二 维 平面 里 的 任意 一 个 椭圆 都 可 以 用 这 5 个 参数 惟一 地 确 
定 ， 参 数 的 几何 意义 如 图 7. 27 所 示 。 两 种 表示 形式 的 参数 可 用 式 (7.62) ~ 式 (7.67) 转 
换 。 
yl 
j, 5E SD (7.62) 
44C - B 
_ BD - 2AE 
y, = AAC PB (7.63) x 








(7. 64) 

















223 -2F 
A«C- |B + (4E) 
F 
2 E - (265 d L E 
A+C+ /本 + (4E) 
F 图 7.27 二 维 平面 椭圆 的 表示 


1 B 
0 = 了 arctan 775 (7. 66) 


最 小 二 乘 椭圆 拟 合法 是 一 种 较 常用 的 椭圆 拟 合 方法 ， 通 过 寻找 参数 集合 从 而 最 小 化 数据 
点 与 椭圆 之 间 的 距离 度量 。 距 离 度量 常用 儿 何 距离 和 代数 距离 来 表示 。 设 平面 内 某 点 Gs. 
Yo) 到 方程 Kx,y) = 0 所 代表 曲线 的 代数 距离 是 /Caxo ,yo) 。 以 代数 距离 作为 距离 度量 的 最 小 
二 乘法 介绍 如 下 人 : 

一 般 形式 的 椭圆 方程 如 式 (7.61) 所 示 ， 为 了 避免 方程 零 解 ， 将 解 的 任何 整数 倍 都 视 
为 对 同一 椭圆 的 表述 ， 对 参数 进行 一 些 限制 ， 并 将 约束 条 件 设 为 4+C = 1。 因 此 ， 直 接应 用 
上 述 方程 对 边缘 检测 后 的 离散 点 进行 最 小 二 乘 处 理 ， 就 可 以 得 到 方程 中 的 各 系数 。 设 目标 函 
数 为 
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图 7.28 光源 中 心 坐 标 检测 图 
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f(A,B,C,D,E) = Y (Aa? Buy, + Cy! + Dx, + Ey; + F}? (7.67) 
利用 极 值 原理 , [8 /(A,B,C,D,E) 值 为 最 小 ， 则 有 
BP ep EE LC E cop (7. 68) 








oB ðC 9D E oF 

因此 ， 可 得 一 个 线性 方程 组 ， 然 后 结合 约束 条 件 ， 利 用 求解 线性 方程 组 的 算法 ， 就 可 以 
求 得 椭圆 方程 的 各 个 系数 4, B, C, D, E, FE. 

在 已 知 椭圆 方程 的 情况 下 ， 便 可 求 得 椭圆 中 心 点 的 坐标 ， 光 源 中 心 点 检测 图 如 图 7.28 
所 示 。 

在 得 到 左右 摄像 机 中 光源 中 心 点 的 左右 图 像 坐标 之 后 ， 再 利用 双 视 觉 三 维 测量 求 出 光源 
中 心 在 S 组 坐标 系 下 的 三 维 空间 坐标 ， 最 后 将 之 转换 到 G 组 坐标 系 ， 即 完成 了 系统 的 光源 
标定 。 
7.5.4 系统 标定 结果 与 分 析 


l. 系统 标定 结果 
按照 上 述 视线 追踪 系统 的 标定 方法 对 系统 双 摄 像 机 和 标定 双 摄 像 机 进行 了 标定 ， 并 完成 
了 双 视 觉 空 间 三 维 坐 标 计算 。 在 此 基础 上 对 光源 和 显示 屏幕 进行 了 标定 。 摄 像 机 标定 和 双 视 
觉 系 统 标定 采用 MATLAB 编程 实现 ， 获 得 摄像 机 内 外 参数 和 双 视 觉 系统 结构 参数 ， 标 定 结 
RUF: 
1) G 组 与 $ 组 各 摄像 机 内 参数 及 畸变 系数 见 表 7.2。 
表 7.2 各 摄像 机 内 参数 及 畸变 系数 













































































参数 
有 f, c, c, kı h hs h 
摄像 机 
左 2022. 6481 2020. 0575 384. 7596 215. 8730 -0.1129 | 3.3562 — 0. 0036 0. 0217 
G £H 
A 2001. 2430 1999. 1859 388. 3522 188. 5503 0. 5515 -2.3912 | -0.0082 0. 0068 
左 3035. 2488 3043. 4317 352. 1060 192. 4171 0. 7765 —7.6103 | -0.0522 0. 0293 
S 组 
d 3002. 0768 2985. 4819 379. 4935 151. 2357 0. 1196 -1.0857 | -0.0205 0. 0304 








2) G 组 与 S 组 双 视 觉 摄像 机 系统 的 结构 参数 见 表 7. 3 ， 外 参数 示意 图 如 图 7. 29 所 示 。 
表 7.3 各 组 摄像 机 结构 参数 








参数 
旋转 矩阵 丸 FERET 
摄像 机 
0. 9996 0. 0207 — 0. 0165 
G 2H | —0.0205 0.9997 0. 0093 | [51.64108 0.49926 2.71848]* 
0. 0167 —0.0089 0.9998 
0. 9944 0. 0201 0. 1035 
S H | —0.0228 0.9994 0. EI [ -124.9874 -0.9447  -15.7814]* 
—0.1030 -0.0276 0.9943 
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bp)S 组 摄像 机 外 参数 示意 图 





















































图 7.29 双 视 觉 摄像 机 外 参数 示意 图 





视线 追踪 系统 光源 和 显示 屏幕 标定 采用 VC + + 编程 实现 ， 获 得 G 组 与 $ 组 摄像 机 坐标 

















系 转换 矩阵 、 光 源 中 心 三 维 坐 标 和 显示 屏幕 平面 方程 。 标 定 结果 如 下 : 











1) G 组 与 SS 组 摄像 机 坐标 系 之 间 旋 转 和 矩阵 与 平移 矩阵 见 表 7.4。 
表 7.4 G-S 组 摄像 机 结构 参数 





参数 
旋转 矩阵 玉 平移 矢量 了 
摄像 机 
—0.9999 -0.0142 -0.0527 
G-S —0.0079 0.9856 — 0. 1760 [ -3.0097 126.6123 1254. 1741 1? 
0. 0544 —0.1755 -0.9856 











2) 通过 S 组 摄像 机 测量 显示 屏幕 目标 靶 上 的 控制 点 三 维 坐标 ， 然 后 应 用 7.5.3.1 A6 











标 转换 方法 将 三 维 坐标 转换 到 系统 摄像 机 坐标 系 下 。 对 屏幕 上 54 个 点 进行 批量 采集 和 计算 ， 
其 过 程 转换 数据 见 表 7.5。 经 多 点 拟 合法 拟 合 的 平面 方程 : 
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z = 0. 2359x - 0. 0204y - 110. 1236 (7. 69) 
表 7.5 显示 屏幕 上 点 的 坐标 转换 数据 表 
编号 
1 2 3 4 53 54 
参数 
Xj 402. 3128 404. 4594 406. 6160 408. 7828 52. 3437 53. 7191 
Yi 37. 6211 81. 6161 125. 8171 170. 2254 219. 9539 265.9119 
图 像 坐标 
X, 596. 6385 598. 7765 600. 9226 603. 0766 239. 7312 241. 2279 
Y, 42. 0546 86. 5493 131. 2097 176. 0368 231. 1173 2716. 6333 
x 0. 0881 0. 0890 0. 0898 0. 0907 — 0. 0735 — 0. 0729 
S 组 y — 0. 0847 — 0. 0637 — 0. 0427 — 0. 0218 0. 0015 0. 0223 
z 1. 4501 1. 4441 1. 4379 1. 4317 1. 3838 1. 3827 
x —166.3261 | -167.1837 | -168.0107 | —-168.8179 — 2. 4883 -3.3111 
G £H y —212.8251 | -191.0621 | -169.2713 | -147. 5324 — 114. 8774 — 94. 1782 
z -155.4170 | -153.1269 | -150. 5977 | —-148. 1664 — 114. 0032 — 116. 5406 
注 : S 组 下 坐标 的 每 个 值 还 须 乘 以 103 。 
3) 与 显示 屏幕 标定 过 程 相似 ， 检 测 的 光源 中 心 在 G 组 坐标 系 下 的 坐标 为 











(x, 5. YicsZic) = (-2.0223 ,4. 4484 ,28. 4076) 


(5c Yacszac) = ( — 47. 0928,2. 8885,38. 2253) 
2. 标定 结果 验证 与 误差 分 析 
(1) 单 摄像 机 标定 的 误差 评定 
采用 重 投影 误差 来 评定 单 摄像 机 标定 结果 。 视 线 系统 左右 摄像 机 重 投影 误差 如 图 7. 30 

所 示 ， 最 大 误差 在 1 个 像素 以 内 ， 符 合 标定 要 求 。 
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a) 左 摄像 机 b) 右 摄像 机 
图 7.30 重 投影 误差 








(2) 双 摄 像 机 标定 及 三 维 坐标 测量 评定 
采用 基准 长 度 比 对 法 '" 来 评定 双 视 觉 系 统 结构 参数 标定 和 三 维 坐 标 测量 结果 ， 即 将 标 
定 板 上 相 邻 角 点 实际 长 度 作 为 公称 值 ， 利 用 系统 对 标定 板 上 各 角 点 进行 测量 ， 计 算出 基准 长 
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度 实测 值 ， 将 其 与 公称 值 比 对 ， 再 计算 其 均值 误差 。 假 设 测 模板 上 某 一 点 三 维 坐 标 为 〔X,， 
Y, Z), ， 其 相 邻 角 点 的 三 维 坐 标 为 (XX, ， 了 ,1 ，Zi,1) ， 则 模板 上 相 邻 角 点 之 间 的 距离 计 
算 如 F: d; = (Xia -X) 十 (Yi g LJ 十 (Zi -ZV o = 维 测 E 误差 E 二 
X, - 4) /N 。 其 中 ，d 为 棋盘 格 给 定 间距 值 ， 即 公称 值 。 本 系统 双 目 标定 靶 公 称 值 4 


=6.08mm。N 表示 参与 运算 的 标定 点 个 数 。 利 用 96 点 进行 重重 运算 ， 实 验 结 果 误 差 为 
0. 07377mm， 能 够 满足 系统 要 求 。 

(3) 全 局 标定 误差 评定 

通过 全 局 标定 确定 S 组 和 G 组 摄像 机 坐标 系 之 间 的 转换 和 矩阵， 并 对 全 局 标定 结果 进行 
精度 评定 实验 。 即 利用 控制 点 在 S 组 摄像 机 坐标 系 下 的 三 维 坐标 反 算 到 全 局 坐标 系 ( 即 G 
组 摄像 机 坐标 系 ) ， 然 后 再 跟 G 组 摄像 机 实际 测 得 的 结果 进行 比 对 ， 然 后 计算 其 RMS 误差 。 
表 7.6 给 出 了 6 个 标定 点 三 维 坐 标 反 算 对 比 结 

表 7.6 6 个 标定 点 三 维 坐标 的 反 算 对 比 结果 


















































ems 测量 坐标 (S 组 一 C 组 ) G 组 坐标 系 下 坐标 RMS, RMS, | RMS, 
X Y Z X Y Z (mm) | (mm) | (mm) 

1 -32.1236 | -19.2523 | 448.1813 | -32.0706 | -19.0122 | 447.9708 

2 -38.3015 | -13.3409 | 446.2406 | -38.3818 | -13.2925 | 446.0750 

3 -44.7237 | -7.5561 | 445.1132 | -44.7101 | -7.5468 | 444.9086 
0.0501 | 0.1075 |0. 1477 

4 -51.1745 | -1.9475 | 444.5230 | -51.1005 | -1.8594 | 444.4787 

5 -57.4341 3.7452 443.2047 | -57.4260 | 3.7112 443. 2769 

6 -63.7469 | 9.4156 441.3571 | -63.7386 | 9.3965 441. 2343 





























由 表 可 见 ，Z 轴 坐 标 误差 最 大 ,了 轴 次 之 , X 轴 最 小 ， 但 都 在 误差 允许 范围 之 内 。 在 多 
摄像 机 转换 过 程 中 仅 用 了 一 次 坐标 转换 ， 有 效 地 减少 了 误差 。 

(4) 光源 、 屏 幕 标定 误差 分 析 

光源 屏幕 标定 误差 由 光源 屏幕 测量 ， 以 及 重建 误差 、 坐 标 转化 误差 和 全 局 标定 标 目标 驾 
误差 几 部 分 构成 。 下 面 简要 分 析 其 传递 关系 。 





如 图 7.31 和 图 7.32 所 示 , 设 G 组 屏幕 uu S 组 摄像 机 测量 标定 点 
和 S 组 摄像 机 的 测量 误差 均 为 AL， 标 6 组 摄像 机 测量 标定 点 | /真实 标定 点 
AL 


~ 


定时 G 组 和 S 组 摄像 机 均 观 测 同名 矢量 
点 ,但 靶 标 上 同名 矢量 点 并 不 是 精确 的 
同一 个 控制 点 。 考 虑 到 计 标 很 薄 ， 根 据 
误差 大 加 ， 对 于 两 组 摄像 机 转换 关系 的 
标定 结果 ，G 组 摄像 机 至 少 会 产生 2AL 图 7.31 ” 华 标 系 转换 误差 传递 关系 
的 误差 。 标 定 屏 幕 和 光源 时 ，S 组 摄像 
机 的 观测 结果 也 会 产生 AL 的 误差 。 这 样 标定 屏幕 和 光源 的 结果 至 少 会 造成 3AL 的 误差 。 由 
于 G 组 和 S 组 摄像 机 测量 误差 不 超过 0.08mm， 所 以 光源 和 屏幕 的 标定 结果 会 产生 约 
0. 08mm x3 =0. 24mm 的 误差 。 这 时 双 面 目标 靶 厚 度 应 控制 在 0.25mm。 

3. 视线 方向 检测 结果 
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上 述 系统 标定 结果 无 法 在 系统 范围 内 验证 ， 
因此 以 视线 追踪 系统 运行 效果 ， 即 视线 方向 检测 
结果 , 来 验证 上 述 标定 结果 是 否 满足 系统 要 求 。 

在 上 述 北 京 科技 大 学 所 开发 的 双 摄 像 机 双 光 
源 视线 追踪 系统 中 ， 采 用 基于 多 摄像 机 全 局 标定 
的 视线 追踪 系统 标定 方法 标定 系统 光源 和 屏幕 ， 
使 用 该 系统 对 不 同 使 用 者 的 视线 估计 效果 进行 了 
测试 。 测 试 过 程 中 系统 将 实时 记录 下 所 有 视线 信 ”图 7.32 光源 屏幕 坐标 转换 误差 传递 关系 
息 ， 并 计算 出 分 别 计算 每 个 目标 对 象 时 一 定时 间 
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图 7.33 ”估计 视线 与 理想 视线 落 点 比较 
段 内 所 有 落 点 误差 均值 。 对 数据 进行 离线 处 理 ， 得 到 7 位 使 用 者 对 屏幕 上 采 视 点 的 追踪 精度 
平均 水 平 ， 水 平方 向 平均 精度 在 1.5" 左 右 ， 垂 直方 向 平均 精度 在 1.9" 左 右 ， 说 明 标 定 结 
能 够 基本 满足 系统 视线 方向 检测 的 需要 。 图 7. 33 所 示 为 视线 落 点 估计 结 





7.6 ”本章 小 结 


本 章 在 叙述 摄像 机 标定 相关 理论 的 基础 上 ， 主 要 介绍 了 两 种 针对 双 摄 像 机 双 光 源 视 线 追 
踪 系 统 的 系统 标定 方法 ， 即 反射 镜 法 和 基于 多 摄像 机 全 局 标定 的 标定 法 。 视 线 追 踪 系 统 标定 
的 反射 镜 法 是 一 种 常用 的 系统 标定 方法 ， 该 方法 通过 反射 镜 的 镜像 ， 解 决 视线 追踪 系统 光源 
和 屏幕 不 在 系统 摄像 机 视野 范围 之 内 的 问题 。 反 射 镜 法 可 以 对 视线 追踪 系统 进行 标定 ， 但 存 
在 着 若干 不 足 ， 如 标定 过 程 不 方便 ， 成 像 模糊 、 特 征 点 提取 难度 大 等 。 基 于 多 摄像 机 全 局 标 
定 的 视线 追踪 系统 标定 方法 能 够 有 效 殉 服 反射 镜 法 的 不 足 ， 实 现 视 线 追 踪 系 统 的 标定 。 该 标 
定 方法 通过 在 屏幕 对 面 放置 一 对 标定 摄像 机 与 系统 摄像 机 构成 多 摄像 机 系统 。 标 定 摄像 机 直 
接 拍摄 标定 目标 ， 测 量 系统 摄像 机 、 光 源 和 屏幕 之 间 的 空间 位 置 关 系 。 通 过 多 摄像 机 全 局 标 
定 确 定 系统 摄像 机 和 标定 摄像 机 的 坐标 转换 关系 。 利 用 坐标 转换 最 终 标 定 出 系统 摄像 机 坐标 
系 中 摄像 机 、 光 源 、 屏 幕 的 空间 位 置 和 关系。 基于 多 摄像 机 全 局 标定 的 系统 标定 方法 能 够 有 效 
解决 屏幕 和 光源 不 在 系统 摄像 机 视野 范围 内 的 问题 ， 减 小 了 图 像 误 差 。 这 种 方法 也 为 其 他 同 
类 系统 标定 提供 了 一 种 解决 问题 的 思路 。 
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视线 追踪 技术 的 基本 原理 是 利用 眼球 转动 时 某 些 不 变 的 结构 和 特征 与 变化 的 特征 之 间 的 














变化 量 来 计算 视线 方向 的 。 因 此 ， 基 于 VOG 的 视线 追踪 系统 包括 两 部 分 内 容 : 视线 特征 参 
数 提取 和 视线 方向 计算 模型 建立 。 不 同 的 视线 追踪 系统 构成 将 采用 不 同 的 视线 方向 计算 模 
型 。 基 于 瞳孔 中 心 -角膜 反射 的 视线 追踪 方法 按 系 统 构 成 和 采用 的 视线 估计 模型 大 致 可 分 为 
两 类 : 单 摄像 机 单 (多 ) 光源 系统 和 多 摄像 机 多 光源 系统 。 

单 摄像 机 单 光源 系统 通过 检测 普尔 钦 斑 中 心 到 瞳孔 中 心 的 平面 视线 参数 ， 一 般 采 用 线性 











和 非 线 性 多 项 式 来 建立 视线 参数 到 视线 屏幕 落 点 的 映射 模型 。 这 种 视线 落 点 映射 模型 只 
能 在 头 部 静止 或 微 动 状态 下 检测 视线 在 屏幕 上 的 落 点 。 为 解决 单 摄像 机 系统 在 头 动 状态 下 的 
视线 屏幕 落 点 检测 问题 ， 参 考 文献 [3, 4] 中 采用 了 统计 模型 。 通 过 采集 不 同样 本 不 同 头 
部 姿态 的 眼 部 特征 参数 作为 输入 ， 以 对 应 的 盯 视 点 坐标 作为 输出 ， 训 练 广义 回归 神经 网 络 
( General Regression Neural Network, GRNN) 或 支持 矢量 回归 机 建立 视线 参数 到 视线 落 点 之 
间 的 统计 模型 来 估计 视线 落 点 位 置 。 但 这 种 方法 定义 的 视线 落 点 输出 范围 为 全 屏幕 ， 容 易 在 
视线 检测 过 程 中 产生 偏离 理想 落 点 的 粗大 误差 。 单 摄像 机 系统 结构 简单 ， 使 用 简便 ， 在 人 因 
分 析 等 领域 有 着 普遍 的 应 用 价值 。 

多 摄像 机 多 光源 系统 通过 立体 视觉 检测 普尔 钦 斑 中 心 到 瞳孔 中 心 的 矢量 作为 三 维 视线 参 
数 ， 采 用 眼球 成 像 几 何 模型 将 视线 参数 换算 成 视线 方向 。 因 此 ， 该 系统 可 检测 头 部 运动 状态 
下 的 视线 方向 。 但 多 摄像 机 系统 需 精确 标定 计算 机 屏幕 、 光 源 的 相对 位 置 关系 ， 其 标定 
程序 复杂 ， 成 本 相对 较 高 。 

综 上 所 述 ， 视 线 追 踪 系 统 在 空间 视线 方向 计算 阶段 ， 主 要 采用 三 种 数学 模型 描述 视线 参 
数 到 视线 方向 的 映射 模型 : 

1) 针对 多 摄像 机 系统 ， 从 眼球 的 生理 结构 出 发 ， 根 据 摄像 头 、 人 眼 之 间 的 空间 位 置 关 
系 ， 建 立 视线 方向 估计 的 空间 几何 模型 “7 。 这 种 视线 方向 计算 模型 求 出 的 是 视线 的 空间 方 
向 。 

2) 针对 单 摄 像 机 系统 ， 建 立 平面 视线 参数 到 空间 视线 方向 的 线性 或 非 线性 多 项 式 模 
型 ”1 。 通 过 这 种 模型 可 以 获得 视线 的 屏幕 落 点 坐标 。 

3) 针对 单 摄像 机 系统 ， 从 视线 屏幕 落 点 的 效果 出 发 ， 建 立 平 面 视线 参数 到 空间 视线 方 
向 的 统计 映射 模型 '""。 这 种 统计 映射 模型 得 到 的 视线 落 点 精度 不 高 。 当 采用 多 人 样本 训 
练 统计 模型 时 ， 这 种 模型 可 以 避免 初始 标定 。 

采用 第 一 种 和 第 二 种 视线 方向 计算 模型 时 ， 系 统 使 用 前 都 要 进行 用 户 标 定 ， 以 确定 不 同 
个 体 的 模型 参数 ， 这 样 才 能 进行 视线 方向 计算 。 

头 动情 况 下 的 视线 检测 是 视线 追踪 技术 的 关键 问题 。 近 期 文献 资料 中 研究 的 空间 几何 模 
型 可 以 解决 较 大 范围 的 头 动 问题 ， 并 保持 较 高 的 视线 精度 。 但 空间 几何 模型 往往 对 应 立体 视 
觉 系统 或 单 摄像 机 多 光源 系统 ， 系 统 标定 和 视线 检测 的 初始 校准 过 程 都 比较 复杂 。 多 项 式 模 
型 和 统计 模型 一 般 对 应 单 摄像 机 系统 。 多 项 式 模型 只 能 处 理 头 部 静止 或 轻微 头 动情 况 下 的 视 
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线 追 踪 。 统 计 模 型 采用 神经 网 络 或 支持 矢量 机 ， 通 过 采集 不 同人 不 同 头 部 姿态 的 视线 参数 可 
以 实现 头 部 运动 情况 下 的 视线 追踪 并 免 于 初始 校准 。 但 其 视线 精度 较 低 且 普 适 性 并 不 理想 。 

本 章 从 不 同系 统 构成 的 角度 ， 详 细 地 讨论 了 单 摄像 机 视线 追踪 系统 的 视线 方向 计算 模型 
和 双 摄 像 机 视线 追踪 系统 的 视线 方向 计算 模型 。 单 摄像 机 系统 的 视线 方向 计算 模型 主要 包括 
基于 非 线 性 多 项 式 和 统计 方法 的 视线 计算 方法 ， 以 及 基于 解析 头 动 补偿 的 视线 佑 计 方 法 。 这 
两 种 方法 主要 是 探讨 在 单 摄像 机 视线 追踪 系统 中 如 何 解 决 头 动 状 态 下 的 视线 方向 检测 。 双 摄 
像 机 系统 的 视线 方向 计算 模型 主要 包括 朱 志 伟 等 人 提出 的 基于 头 动 补偿 的 视线 方向 计算 模 
型 ， 以 及 基于 眼球 成 像 模型 的 视线 方向 计算 模型 。 另 外 ， 本 章 还 介绍 了 视线 方向 估计 的 five- 
Spot 模型 o 


8.1. 单 摄像 机 主动 红外 光源 系统 视线 方向 计算 模型 








8.1.1 基于 非 线性 多 项 式 和 广义 回归 神经 网 络 的 视线 估计 方法 


8.1.1.1 广义 回归 神经 网 络 

CRNN 是 基于 概率 密度 函数 的 具有 记忆 功能 的 前 僻 神经 网 络 。 它 训练 快 ， 能 够 有 效 副 近 
非 线性 函数 ， 并 且 在 噪声 环境 下 也 能 很 好 地 实现 其 功能 。 

CRNN 的 理论 基础 是 非 线性 回归 分 析 ， 非 独立 变量 y 相对 于 独立 变量 x 的 回归 分 析 就 是 
计算 具有 最 大 概率 值 的 y。 设 随机 变量 x M y 的 联合 概率 密度 函数 为 Kx,y) ， 已 知 x 的 观测 
[Ey X, WD 相对 于 外 的 回归 ， 即 条 件 均值 为 

l P X, Yay 
Y = E[yl X] = -二 一 一 一 (8.1) 
| _AX,Y) dy 

对 于 未 知 的 概率 密度 函数 (x,y) ， 可 以 由 x 和 y 的 样本 观测 值 估计 得 到 其 非 参 数 估计 
为 





1 sl GE ran up orc 


f(OX,Y) m (27) (m+1)/2 mtl, 











(8.2) 
AP, X, Y, 为 随机 变量 x 和 y 的 样本 观测 值 ，o 为 平滑 参数 〈 核 宽度 ) ; 为 样本 数目 ; m 


为 随机 变量 x 的 维 数 。 HX, Y) FUE f(X,Y) , RAR (8.1) 中 ， 并 交换 积分 与 求 和 
顺序 ， 化 简 后 有 
> yexp| - (X - X) EK -X,) 
20 
bp (X-X. 
Y ep[- f 2 ( ;) 
CT 





Y(X) = 





(8.3) 





X (8.3) 中 ， 估计 值 Y OX) 为 所 有 样本 观测 值 Z 的 加 权 平 均 ， 每 个 观测 值 Y, 的 权重 因子 
是 相应 的 样本 马 与 对 之 间 欧 几 里 德 ( Euclid) 距离 平方 的 指数 。 
根据 以 上 建立 的 GRNN 由 4 层 构 成 : 输入 层 、 隐 含 层 、 线 性 求 和 层 及 输出 层 。 基 于 非 线 
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性 多 项 式 和 GRNN 的 视线 估计 方法 采用 
的 基本 结构 如 图 8. 1 所 示 。 

输入 层 中 的 神经 元 数 日 等 于 学 习 样 
本 中 输入 矢量 的 维 数 m， 各 神经 元 是 简 
单 的 分 布 单元 ， 直 接 将 输入 变量 传递 给 
隐 含 层 。 隐 含 层 的 神经 元 数目 等 于 学 习 
样本 的 数目 n， 各 神经 元 各 自 对 应 不 同 
的 样本 ， 神 经 元 i 的 传递 函数 为 








(X-X)'(X-X) 
Pi = exp| - F 
i =1,2, =n (8.4) 


图 8.1 GRNN 结构 


即 神经 元 i 的 输出 为 输入 变量 与 其 对 
应 的 样本 成 之 间 的 Euclid 距离 二 次 方 的 指数 形式 。 其 中 ,外 为 网 络 输入 变量 ,，X, 为 第 i 个 
神经 元 对 应 的 学 习 样本 。 

求 和 层 中 使 用 两 种 类 型 神经 元 进行 求 和 ， 一 类 相对 式 (8.3) 中 的 分 母 部 分 ， 它 对 所 有 
隐 含 层 神经 元 的 输出 进行 算术 求 和 。 隐 含 层 连接 权 值 为 1， 其 传递 机 数 为 

S - XP, (8.5) 

另 一 类 计算 公式 相对 式 (8.3) 中 的 分 子 部 分 ， 它 对 所 有 模式 层 神 经 元 的 输出 进行 加 权 求 
和 。 隐 含 层 中 第 i 个 神经 元 ， 求 和 层 中 第 j 个 分 子 , 求 和 神经 元 之 间 的 连接 权 值 为 第 i 个 输 
出 样本 了, 中 的 j 个 元 素 y;。 其 传递 函数 为 


Sy = 2 Yapi (8.6) 
输出 层 中 的 神经 元 数目 等 于 学 习 样本 中 输出 矢量 的 维 数 k, 4 ATRAE I i hR, 


可 得 到 式 (8.4) 的 估计 结果 ， 神 经 元 ) 的 输出 对 应 估计 结果 Y(X) 的 第 j 个 元 素 ， 即 
Sy 
Xj-7g. 





(8.7) 


D 


8.1.1.2. 基于 非 线 性 多 项 式 拟 合 和 GRNN 的 视线 落 点 映射 模型 

1. 与 头 动 有 关 的 眼 部 参数 

实验 研究 表明 ， 在 前 方 摄 像 机 摄取 的 人 脸 图 像 中 ， 人 脸 的 三 维 形态 和 瞳孔 的 形状 (如 
瞳孔 的 大 小 、 两 眼 瞳 孔 间 距 ， 外 形 、 有 瞳孔 椭圆 具体 位 置 等 ) 具有 如 下 规律 : 

1) 人 上 脸 转移 至 正 前 方 时 ， 图像 中 瞳孔 的 间距 将 减 小 。 

2) 人 脸 转 移 至 正 前 方 时 ， 左 右 两 瞳孔 之 间 的 平均 亮度 会 相差 更 大 ， 一 个 更 大 一 个 更 
小 。 

3) 人 脸 由 正 前 方 转移 至 其 他 方向 时 ， 有 瞳孔 椭圆 将 变 的 更 加 扁 。 

4) 当 人 脸 朝 向 正 前 方 并 上 下 或 左右 看 时 ， 图 像 中 的 瞳孔 都 变 小 。 

5) 如 果 人 脸 绕 着 光 轴 旋转 ， 瞳 孔 的 相对 位 置 也 会 改变 。 

基于 上 述 研 究 并 根据 参考 文献 [3] 的 内 容 ， 采 用 头 动 状态 下 的 视线 特征 矢量 8， 即 

g= [Ax Ay a 0 g, &,l 

WP, (Ax, Ay) 为 瞳孔 中 心 到 普尔 钦 斑 的 矢量 ; a 为 瞳孔 椭圆 长 轴 ; 9 为 瞳孔 椭圆 长 轴 与 
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垂直 方向 的 角度 ; (g,，g,) 为 普尔 钦 斑 在 图 像 中 的 位 置 。(Ax，Ay) 能 够 反映 眼球 方向 及 
头 部 上 下 转动 和 左右 转动 ，a 能 够 反映 头 部 与 摄像 机 的 距离 变化 ,0 能 够 反映 人 脸 绕 摄像 机 
光 轴 的 转动 ，(g,，g,) 能 够 反映 人 脸 的 平移 运动 。 特 征 矢量 g 的 变化 可 以 充分 反映 头 部 和 
眼球 的 运动 ， 为 有 效 的 视线 方向 估计 及 头 动 补偿 提供 了 依据 。 

2. 视线 落 点 映射 模型 




















该 模型 包括 基于 非 线 性 多 项 式 的 视线 拟 拟 合 坐标 什 
合 部 分 和 GRNN 的 头 动 误差 补偿 前 4p, M 

射 模型 结构 如 图 8. 2 所 示 。 首 先 ， 在 头 部 静 x mA 

止 状态 下 ， 使 受 试 者 注视 屏幕 上 的 标定 点 ， A 7 

用 标定 多 项 式 模型 对 视线 的 屏幕 落 点 进行 估 | 5 5 














计 ， 然 后 不 同 的 头 部 姿态 下 ， 注 视屏 幕 上 的 “| g、 
标定 点 ， 计 算 对 注视 点 的 视线 落 点 误差 。 同 | 久 一 >| oun | 
时 ， 用 经 过 训练 的 GRNN 来 计算 头 部 运动 
引起 的 全 屏 视线 估计 误差 。 用 估计 的 误差 对 
视线 进行 补偿 ， 得 到 最 终 的 视线 估计 结果 。 Eiez HABUI 

(1) 非 线性 多 项 式 的 视线 落 点 直接 拟 合 

平面 视线 参数 和 视线 方向 的 关系 很 难 用 确定 的 解析 式 表示 。 但 是 在 头 部 不 动 的 情况 下 ， 
人 们 做 了 大 量 的 研究 工作 。 即 采用 如 下 多 项 式 来 拟 合 视线 [9 ， 可 以 取得 较 高 的 视线 精度 ; 

X=aAx + bAy + cAxAy (8.8) 
Y 2 dAx + eAy + f Ax? (8.9) 

st (8.8) 拟 合 的 是 屏幕 坐标 的 横 坐 标 ， 式 (8.9) 拟 合 的 是 纵 坐 标 。 式 中 的 系数 a，5， 
c, d, e, /通过 样本 试验 来 确定 。Ax 和 Ay 为 瞳孔 中 心 -普尔 钦 斑 矢 量 的 横 坐 标 和 纵 坐标 值 。 
这 种 拟 合 方式 确定 的 视线 方向 为 头 部 基本 不 动 的 情况 下 的 视线 方向 。 公 式 明确 给 出 了 在 头 部 
静止 的 情况 下 ， 视 线 与 瞳孔 中 心 -普尔 钦 斑 矢量 之 间 的 对 应 关系 。 但 是 在 头 部 运动 时 ， 必 然 
使 视线 方向 有 所 偏差 ， 所 以 下 面 采用 CRNN 对 其 进行 补偿 。 

(2) GRNN 头 动 补偿 

GRNN 是 径 向 基 网 络 的 一 种 特殊 的 形式 ， 被 广泛 用 于 函数 通 近 。 由 于 头 部 处 于 不 同位 置 
和 姿态 ， 这 必然 引起 检测 到 的 平面 视线 参数 发 生 改 变 ， 即 对 视线 的 预测 误差 。 而 上 节 所 叙述 
的 视线 计算 方法 并 没有 考虑 到 头 动 的 影响 ， 所 以 这 里 设计 一 个 CRNN 对 头 动 的 误差 进行 补 
偿 。 

GRNN 的 一 般 模型 结构 如 输入 Radial Basis Layer 
图 8.307 所 示 。 图 中 的 神经 网 
络 有 0 组 输入 矢量 ， 每 组 矢量 
的 元 素 个 数 有 尺 个 。 

对 于 GRNN， 其 初始 化 就 
是 对 训练 样本 的 学 习 过 程 。 这 
里 在 建立 网 络 模型 的 时 候 ， 将 
网 络 学 习 样本 中 的 输入 矢量 转 
置 赋 给 图 中 IW; 将 训练 样本 








头 动 补偿 

















Special Linear Layer 
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中 的 目标 矢量 ， 即 屏幕 的 坐标 点 赋值 给 LW。 这 样 相 应 的 网 络 结构 和 各 神经 元 之 间 的 连接 权 
值 随 之 确定 。 网 络 的 训练 实际 上 只 是 确定 光滑 因子 的 过 程 。 与 传统 的 误差 反问 传输 算法 不 
同 ，GRNN 的 学 习 算 法 在 训练 过 程 中 无 需 调整 神经 元 之 间 的 连接 权 值 ， 而 是 改变 光滑 因子 ， 
从 而 调整 各 单元 的 传递 函数 ， 以 获得 最 佳 回 归 估计 结 

令 光 滑 因子 以 增 量 Ao 在 一 定 范围 (au ~ wu) 内 递增 变化 。 在 学 习 样 本 中 ， 留 下 一 
两 个 样本 ， 用 剩余 的 样本 训练 神经 网 络 ， 然 后 对 该 一 两 个 样本 进行 预测 ， 得 到 预测 值 与 样本 
之 间 的 误差 序列 ， 误 差 序 列 的 均 方 值 为 


g-LlY[xa) -7 (8.10) 


将 此 作为 网 络 性 能 的 评价 指标 ， 将 最 小 误差 对 应 的 光滑 因子 用 于 最 后 的 GRNN 进行 预测 。 
而 式 (8.10) 即 可 作为 网 络 训练 的 终止 准则 ， 光 滑 因子 的 确定 过 程 隐 含 了 网 络 性 能 的 验证 
过 程 。 

所 设计 的 神经 网 络 只 有 一 个 输出 神经 元 ， 即 只 有 一 个 输出 。 由 于 水 平和 垂直 视线 的 显著 
区 别 ， 设 计 两 个 独立 的 GRNN ， 分 别 用 来 输出 横 、 纵 坐标 的 误差 。 然 后 ， 用 误差 与 相应 的 拟 
合 坐标 值 相 加 得 到 最 后 的 视线 坐标 。 输 入 的 参数 必须 要 反映 不 同 的 头 部 位 姿 和 与 摄像 机 的 相 
对 距离 。 这 样 才能 够 发 挥 网 络 的 曲线 拟 合 能 力 ， 找 到 参数 与 视线 之 间 的 内 在 规律 ， 从 而 得 到 
映射 函数 。 神 经 网 络 的 输入 矢量 为 8g= [Ax Ay a 0 g.，&,]。 在 参数 输入 网 络 之 前 。 
对 参数 进行 归 一 化 处 理 ， 使 参数 在 统一 的 数据 范围 内 。 

采集 不 同 头 部 位 置 的 数据 对 网 络 进行 训练 ， 一 些 典型 的 头 部 位 置 如 图 8. 4 所 示 。 在 每 个 
头 部 位 置 ， 受 试 者 分 别 注视 屏幕 上 的 9 个 点 ， 记 录 相 关 参 数 。 将 参数 经 过 多 项 式 模型 映射 后 
的 视线 估计 误差 作为 网 络 训练 的 目标 和 输出， 得 到 由 输入 矢量 g 描述 的 头 部 位 置 与 视线 估计 误 
差 之 间 的 补偿 关系 ， 即 



































(AX,AY) = fae) 














8.4 一 些 典 型 的 头 动 位 置 
这 个 训练 过 程 只 在 建立 模型 的 时 候 进 行 一 次 ， 以 后 使 用 系统 时 可 以 直接 使 用 f 对 头 部 
位 置 引起 的 误差 进行 补偿 ， 无 需 重新 进行 训练 过 程 。 
8.1.1.3 实验 结果 与 分 析 
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为 了 验证 基于 非 线性 多 项 式 和 GRNN 的 视线 落 点 估计 方法 的 有 效 性 ， 实 验 中 收集 了 大 


量 的 实验 数据 对 网 络 进行 了 训练 并 确定 多 项 式 模型 参数 。 数 据 采 集 过 程 中 ， 


受 试 者 分 别 注视 


Bi EB 9 个 点 ， 记 录 相 关 参 数 。 每 个 人 都 有 头 上 仰 、 向 下 俯视 、 向 左旋 一 定 角 度 和 向 右 放 
一 定 角度 等 若干 组 数据 。 然 后 ， 测 试 每 个 人 的 头 动 误 差 ， 即 将 数据 经 过 多 项 式 拟 合 后 的 误差 
作为 网 络 训练 的 目标 矢量 。 


网 络 经 训练 好 以 后 ， 给 定 100 





一 个 输入 矢量 就 可 以 确定 一 组 ORC Yc 


误差 (屏幕 的 横 、 纵 坐标 误差 "mh 
值 ) ， 再 加 上 多 项 式 拟 合 的 坐 


标 ， 即 得 到 修正 的 坐标 值 。 这。 T 
里 取 9 个 点 对 网 络 及 整个 系统 = ，| 上头 


进行 了 测试 。 将 多 项 式 直接 拟 
合 坐 标 与 经 神经 网 络 修正 后 的 。 ,0 


屏幕 坐标 进行 比较 ， 屏 幕 坐标 本 
点 头 动 补偿 效果 如 图 8.5 所 示 。 o v b 














到 45。。 


改善 。 图 


显示 屏幕 上 共 9 个 点 ， 所 

取 数 据 包 含 用 户 正视 正 前 方 的 200 
数据 及 上 下 左右 头 动 时 的 眼睛 
各 个 参数 。 头 动 的 角度 最 大 达 图 8.5 屏幕 坐标 点 头 动 补偿 效果 
图 中 ， 圆 点 表示 根据 用 户 的 参数 采用 多 项 式 直 接 拟 合 的 屏幕 坐标 点 ， 
经 网 络 的 头 动 补偿 后 最 后 得 到 的 坐标 点 。 从 图 8.5 可 以 直观 看 出 神经 网 络 输出 对 拟 合 精度 的 
8. 6 和 图 8.7 所 示 是 以 x 坐标 值 为 准 分 别 给 出 来 直接 拟 合 和 经 过 网 络 纠 正 后 的 视线 
落 点 坐标 的 映射 误差 。 纠 正之 前 ， 误 差 最 大 达 284. 7， 而 且 大 部 分 误差 在 50 ~ 100 的 范围 
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图 8.6 由 多 项 式 直 接 拟 合 的 x 坐标 误差 图 (纠正 前 ) 
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内 。 而 经 过 纠正 以 后 〈 见 图 8.7) ， 误 差 最 大 只 有 70 个 像素 点 ， 而 且 绝 大 部 分 的 误差 在 20 
个 像素 点 左右 。 这 样 不 管 是 从 单个 像素 点 还 是 从 总 体 上 来 说 ， 都 很 大 的 改进 了 映射 的 性 能 。 
表 8.1 给 出 了 一 部 分 视线 坐标 补偿 后 的 值 ， 并 给 出 补偿 前 拟 合 的 坐标 。 同 样 可 以 看 出 ， 补 偿 
后 计算 出 来 的 视线 精度 更 高 。 这 种 视线 落 点 计算 方法 还 在 人 机 交互 系统 中 得 到 了 验证 。 通 过 
眼睛 的 视线 参数 到 视线 落 点 拟 合 、 补 偿 得 到 最 终 的 视线 落 点 坐标 。 这 样 在 面向 助 老 助 残 的 数 

















字 家 庭 人 机 交互 系统 中 就 使 用 该 方法 。 交 互 界面 如 图 S. 8 所 示 。 这 种 应 用 也 证 明了 该 方法 的 







































































实用 性 。 
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| | 
800 50 100 150 
X 
图 8.7 网 络 纠正 后 的 x 坐标 误差 (纠正 后 ) 
表 8.1 补偿 后 的 视线 坐标 和 直接 拟 合 的 视线 坐标 比较 
WE x 坐标 补偿 后 x 坐标 WE y 坐标 补偿 后 y 坐标 实际 x 坐标 实际 y 坐标 
1175.1 1181.3 481. 63 476. 05 1180 479 
137.8 114.1 897. 24 904.75 100 898 
105. 77 86. 78 880. 32 890. 54 100 898 
630. 34 641.87 902. 86 893. 33 640 898 
1128.7 1176.9 918. 68 892. 35 1180 898 
102. 98 114. 08 49.171 59. 652 100 60 
85. 509 99, 99 54. 568 68. 684 100 60 
627. 76 635.93 54. 379 62. 784 640 60 
625. 63 634. 08 65. 169 63. 824 640 60 
1173.9 1181.3 54. 569 55.091 1180 60 





























图 8.8 人 机 交互 界面 


8.1.2 基于 非 线 性 多 项 式 和 支持 矢量 回归 的 视线 落 点 估计 方法 


基于 非 线 性 多 项 式 和 支持 矢量 回归 的 视线 参数 和 视线 屏幕 落 点 之 间 的 非 线 性 映射 模型 结 
构 如 图 8. 9 所 示 。 

首先 对 采集 到 的 平面 视线 参数 进行 标 
准 瞳 距 补偿 ， 然 后 将 补偿 后 的 平面 视线 参 
数 输入 到 非 线性 多 项 式 模型 中 ， 得 到 一 个 
粗略 的 视线 落 点 坐标 ; 同时 将 头 动 相关 视 
线 参数 输入 到 支持 矢量 回归 模型 ， 得 到 理 
想 视 线 落 点 与 多 项 式 拟 合 视线 落 点 的 误 
差 ， 用 此 误差 对 粗略 视线 落 点 进行 补偿 修 
正 ， 得 到 最 终 的 视线 关注 点 坐标 。 

该 方法 旨 在 用 单 摄像 机 系统 估计 头 动 
时 的 视线 参数 。 另 外 ， 为 补偿 头 部 运动 对 
视线 方向 的 影响 ， 需 检测 与 头 部 姿态 有 关 
的 眼睛 特征 参数 。 采 集 的 人 眼 特征 参数 如 
F: 瞳 距 /， 用 于 瞳 距 补偿 ; 拟 合 瞳 孔 椭 
圆 的 长 短 轴 比率 *， 用 来 计算 脸 部 转动 偏 图 8. 9 一 维 视线 模型 结构 
移 平 面 的 大 小 ; 瞳孔 椭圆 的 转动 角度 6， 用 来 计算 脸 部 在 平面 内 沿 着 视线 轴 方 向 转动 大 小 ; 


平面 视线 参数 (Ax,Ay) 
实时 瞳 距 / 







补偿 
补偿 后 的 平面 视线 参数 
(Ax*, Ay*) 


与 头 动 相关 特长 参数 
(Dy. ,Py,7,0) 


支持 向 量 回归 视线 落 点 
误差 补偿 


ERST 
P 


















非 线性 多 项 式 视线 落 点 
模型 拟 合 


视线 落 点 
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(p,, p,) 是 瞳孔 中 心 在 图 像 中 的 坐标 ， 用 来 反映 人 脸 部 的 平移 。 
8.1.2.1 标准 瞳 距 补偿 

如 图 8. 10 所 示 ， 使 用 者 的 瞳 距 是 固定 值 ， 但 当 使 用 者 处 于 不 同位 置 时 ， 瞳 距 在 图 像 上 
的 像素 值 与 用 户 距 摄像 机 距离 成 反比 。 


HLI Sec T. — sadi 











L ml d 
` š 2H d, L, 
式 中 ，/ 为 焦距 。 可 得 中 7t. 
d, L, 


由 式 (8.11) 可 知 ， 观 测 者 与 屏幕 的 
距离 变化 会 带 来 瞳 距 相应 的 变化 ， 瞳 距 变 
化 也 会 带 来 平面 视线 参数 的 变化 。 因 此 ， 
选择 标准 瞳 距 对 平面 视线 参数 进行 补偿 可 














以 减少 由 于 头 部 与 屏幕 的 距离 远近 而 带 来 图 8. 10 ”有 瞳 距 与 距离 关系 
的 估计 误差 。 


8.1.2.2. 非 线性 多 项 模型 
头 部 不 动 的 情况 下 ， 平 面 视线 参数 和 视线 落 点 之 间 的 关系 可 采用 如 下 多 项 式 模型 来 拟 


A [6] 
Hoo: 


Xza,*a, Ax c a, Ay c a, AxAy (8. 12) 
Y =b, +b, Ax +b, Ay +b, Ay (8.13) 
式 中 , 并 和 了 为 屏幕 坐标 的 横 坐 标 和 纵 坐 标 ; RÉ ay, a, a, az, bo, bi, ba, b, 通过 样 
本 试验 来 确定 ; Ax 和 Ay 为 有 瞳孔 善 尔 钦 斑 矢量 的 横 坐 标 和 纵 坐 标 值 。 非 线性 多 项 式 模型 明确 
地 给 出 了 在 头 部 静止 情况 下 视线 与 瞳孔 普尔 钦 斑 矢量 之 间 的 映射 关系 。 但 是 ， 在 头 部 运动 的 
时 候 必 然 使 视线 方向 有 所 偏差 ， 因 此 需要 对 上 述 模型 进行 一 定 的 补偿 。 
8.1.2.3 基于 支持 矢量 回归 的 视线 落 点 补偿 模型 

1. 支持 矢量 回归 训练 

回归 问题 的 目标 是 通过 对 样本 的 训练 ， 找 到 一 个 函数 fCF， 使 得 在 该 函数 下 训练 样本 
的 值 与 其 实际 值 的 误差 不 大 于 给 定 的 偏差 。 为 叙述 的 方便 ， 设 函数 有 如 下 线性 形式 : 

f(x) = (Qw,x) +b 
使 得 在 该 函数 下 训练 样本 的 值 与 其 实际 值 的 误差 不 大 于 给 定 的 偏差 e。 作 者 采用 的 支持 矢量 
回归 (Support Vector Regression, SVR) 的 输入 矢量 为 g = [Ax* Ay" ,r,0,p, ,py] ， 即 一 组 
六 维 参 数 的 输入 矢量 ， 输 出 矢量 为 非 线 性 多 项 式 拟 合 的 视线 落 点 与 理想 视线 落 点 的 水 平和 垂 
直方 向 的 符 标 误差 ， 分 别 为 d,、d,。 

由 于 SVR 一 般 是 多 输入 单 输出 ， 因 此 对 上 述 水 平和 垂直 两 个 方向 的 输出 分 别 建立 一 个 
数学 模型 。SVR 模型 选择 包括 : 核 函 数 选择 ， 边 际 系数 C 的 选择 ， 损 失 函 数 的 选择 及 与 核 
有 关 的 参数 的 选择 等 。 采 用 交叉 验证 的 方法 来 确定 核 函 数 的 宽度 o 和 边际 系数 C， 得 出 最 优 
的 核 函数 参数 和 边际 系数 。 作 者 采用 -支持 矢量 回归 机 ， 其 模型 构造 按 以 下 步骤 进行 : 

1) 设 训练 样本 集 为 

D = |{(x,,d) | x, C Ri,d, C R,i = 1,--- A] 
xh, x CR 为 测 得 的 视线 参数 ; d; CR 为 在 该 参数 下 多 项 式 拟 合 的 视线 落 点 与 理想 视线 落 
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点 的 误差 。 采 集 多 人 不 同 头 部 位 置 时 的 视线 特征 参数 和 视线 落 点 偏差 数据 对 SVM 进行 训练 ， 
一 些 典 型 头 部 位 置 如 图 8. 4 所 示 。 在 每 个 头 部 位 置 ， 被 测试 者 分 别 注视 屏幕 上 9 个 点 ， 记 录 
相关 参数 。 将 参数 经 过 多 项 式 模型 映射 后 的 视线 落 点 与 理想 落 点 的 偏差 作为 SVM 目标 输出 ， 
即 期 望 输出 :2 。 
2) 选择 高 斯 核 函 数 为 核 函数 ， 有 
(x, - x)? 
k(x.,,x,) = exp| — 2— J 
M i "| 20° 
通过 实验 确定 最 佳 的 KKT 条 件 终止 精度 e =0. 01, 爸 造 并 求 最 优化 问题 ， 
2 (a;- aj ) (a, -or )k(x; ax) +eY (a tal) - Yn ca] jj 


(8. 14) 























Je - 1,6 - 200 


min| 


a 


约束 条 件 为 
> Ca, - a; )=0 aa e[0,C] 
3) 解 上 述 最 优化 问题 得 时 到 拉 格 朗 日 乘 子 w、 af, Tx In UH PR 
f(x) = 3 dae RO add (8. 15) 
Jb, ABE D REFIT: j 
b= pl X Dio X (o-a; elan) cel + 





2 CP” (87 af oin) e) (8. 16) 

这 样 得 到 由 输入 矢量 g 描述 的 头 部 位 置 与 视线 估计 误差 (d.， d) 之 间 关 系 ， 即 
d, = fi(g) (8.17) 
d, = f(g) (8.18) 


训练 过 程 只 在 建立 模型 时 进行 一 次 ， 以 后 使 用 系统 时 ， 可 以 直接 使 用 f(g) 对 头 部 位 置 
引起 的 视线 落 点 误差 进行 补偿 ， 无 需 重 新 进行 训练 过 程 。 

2. 基于 SVM 的 头 动 补偿 

训练 完成 后 ， 支 持 矢 量 机 (SVM) 可 以 作为 头 动 补偿 函数 。 输 入 测量 参数 ， 将 支持 矢 
量 机 的 输出 作为 补偿 值 ， 多 项 式 拟 合 视线 坐标 与 补偿 值 相 加 即 为 精确 视线 坐标 。 
8.1.2.4 实验 结果 与 分 析 

1. 参数 提取 与 数据 采集 

系统 训练 和 测试 前 ， 首 先 要 进行 参数 提取 ， 系 统 所 用 到 的 参数 有 平面 视线 参数 (Ax， 
Ay). 、 瞳 距 /、 拟 合 瞳 孔 覃 圆 的 长 短 轴 比 率 >、 瞳 孔 椭 圆 转 动 方向 9、 瞳 孔 在 图 像 中 的 坐标 位 
E (p,，p,)。 采 集 数 据 阶 段 要 求 被 测试 者 在 一 些 典 型 头 部 位 置 如 上 仰 、 俯 视 、 左 偏 、 石 偏 
等 分 别 注 视屏 幕 上 的 9 个 点 ， 在 每 次 注视 过 程 中 记录 相应 参数 '*1|。 

针对 左右 眼 存在 一 定 视差 的 问题 ， 分 别 对 左右 眼 进行 参数 采集 ， 然 后 取 双 眼 参 数 的 平均 
值 进行 后 续 处 理 。 实 验 采 集 的 部 分 数据 ( 左 眼 ) 见 表 8.2。 表 头 的 英文 是 计算 程序 中 所 命名 
的 名 字 ， 对 应 的 中 文 含义 从 左 至 右 依次 为 注视 点 横 坐 标 、 注 视点 纵 坐 标 、 瞳 孔 角 膜 矢 量 横 坐 
标 、 瞳 孔 角 膜 矢 量 纵 坐 标 、 瞳 孔 椭 圆 的 长 短 轴 比率 、 瞳 孔 椭 圆 的 转动 方向 、 瞳 孔 在 图 像 中 的 
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横 坐 标 与 纵 坐 标 。 
R82 实验 采集 的 部 分 数据 

PntX PntY VctrXl VetrYl pupEillL pupAngleL purLocXL purLocYL 
100 60 5.453255 10. 24162 16. 52623 116. 7346 158. 5466 412. 7086 
640 60 —0. 38171 10. 63324 17. 36325 112. 2996 153. 5491 413. 1826 
100 60 6. 662701 11. 95496 16. 53189 56. 92999 105. 1897 414. 263 
640 60 — 0. 25293 7.813171 16. 48383 118. 2708 115. 1214 414. 2982 
640 479 — 0. 30747 7. 459702 16. 49509 103. 5259 165. 7703 380. 4003 
640 60 — 0. 13041 10. 27683 16. 94801 82. 66308 137. 566 413. 1829 
1180 60 —6.17725 10. 45082 17. 08567 776. 38615 131. 7014 413. 4059 
1180 898 5.751869 1. 657516 17. 48174 108. 0728 203. 029 455. 4259 
1180 479 — 7. 61095 7. 598068 16. 69894 111. 4786 165. 6688 383. 3283 
640 60 —6.074 9. 410736 16. 90878 122. 7573 112. 1477 414. 4253 
1180 898 5.751869 1. 657516 16. 30549 113. 2052 198. 566 455. 8177 
1180 60 — 2. 4008 7. 806305 14. 88623 83. 22836 94. 03314 415. 0948 
1180 60 — 6. 27425 10. 5687 15. 40001 118. 0903 93. 45197 415. 1131 
640 898 — 0. 2975 2. T18442 15. 13094 103. 438 161. 5812 386. 9497 
1180 898 — 1.0382 2. T1121 15. 15108 116. 1129 157. 0038 393. 625 
100 479 5. 678314 6. 392441 14. 71669 45. 77186 79. 59155 415. 2922 











2. 瞳 距 补偿 前 后 估计 结果 对 比 


根据 上 述 分 析 可 知 瞳 距 随 着 测试 者 与 摄像 机 距离 而 变化 ， 相 应 的 平面 视线 参数 也 会 发 生 














变化 。 因 此 ， 采 用 标准 瞳 距 补偿 可 以 减少 因为 测试 者 与 摄 相机 距离 远近 而 带 来 的 误差 。 














补偿 后 的 坐标 误差 小 于 补偿 前 坐标 误差 。 
3. 视线 估计 模型 的 效果 





该 方法 用 大 量 实验 数据 验证 了 经 支持 矢量 回归 补偿 后 的 非 线性 多 项 式 视 线 估计 模型 的 效 
果 ( 见 表 8.3)。 大 部 分 非 线 性 多 项 式 拟 合 后 的 结果 在 经 过 支持 矢量 回归 机 的 补偿 之 后 误差 
大 大 减少 。 这 里 的 数据 是 不 同 的 受 试 者 经 过 训练 之 后 得 到 的 ， 因 此 对 于 相同 的 位 置 将 得 到 不 














图 8. 11 所 示 为 部 分 测试 点 在 瞳 距 补偿 前 后 所 产生 的 误差 对 比 。 随 机 选取 部 分 数据 制 成 
条 形 图 ， 其 中 每 组 左边 的 是 补偿 后 产生 的 误差 值 ， 右 边 的 是 补偿 前 的 误差 值 。 实 验 结果 表明 


























同 的 拟 合 值 。 
表 8.3 改进 后 的 二 维 视线 估计 模型 的 实验 结果 
实际 横 纵 坐标 多 项 式 拟 合 横 纵 坐标 SVR 补偿 后 横 纵 坐标 
100 479 89. 455 540. 32 101. 92 464. 56 
640 479 637.41 526. 54 639. 72 431. 59 
100 898 45. 599 846. 95 90. 38 800. 7 
640 479 624. 77 524. 88 664.11 479. 44 
640 479 617. 73 534.23 654. 61 482. 49 
640 898 615. 27 906. 65 685. 13 903. 95 
1180 898 1107.2 872. 62 1186. 6 886. 33 
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( 续 ) 
实际 横 纵 坐标 多 项 式 拟 合 横 纵 坐标 SVR 补偿 后 横 纵 坐标 
1180 898 1080. 6 915. 85 1148. 1 901. 89 
640 60 646. 01 131.35 643.2 24. 735 
1180 60 1199.4 194. 38 1196. 9 24. 735 
100 60 119. 93 273.1 113. 67 86. 745 
100 60 95. 703 253. 61 93. 952 81. 996 
1180 60 1154. 7 241.71 1176.2 131. 06 
640 479 618. 81 544. 37 644. 06 404. 63 

















补偿 前 后 的 纵 坐 标 误差 图 
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Z 8.11 标准 瞳 距 补偿 前 后 的 横 纵 坐标 误差 对 比 

图 8. 12 所 示 的 图 形 更 加 直观 地 展示 了 基于 非 线 性 多 项 式 和 支持 矢量 回归 的 视线 估计 模 
型 的 佑 计 效 果 。 图 中 十 字 标 注 的 是 实际 注视 点 ， 圆 圈 显 示 的 是 非 线性 多 项 式 拟 合 后 的 盯 视 
点 ，* 显示 的 是 经 过 文 持 矢量 回归 机 补偿 以 后 的 注视 点 。 图 8. 12 表明 经 过 支持 矢量 回归 机 
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补偿 后 的 结果 更 加 接近 实际 注视 点 。 1200 











8.1.3 基于 解析 头 动 补偿 的 视 wok o, ka > 
线 估计 方法 ME e e" 

如 前 所 述 ， 大 部 分 基于 瞳孔 中 ^ qb goo 
心 -角膜 反射 技术 的 视线 估计 可 分 为 “| 。。 g- P 
两 类 : 基于 二 维 映射 模型 的 视线 估 — "Ue. * "t 
计 方法 021 和 直接 的 三 维 视线 估计 方 。 ab F y 
ko". —mmupS wur P & emo o 
单 摄像 机 视线 追踪 系统 ， 而 三 维 的 。 T ° dii 
视线 估计 方法 贝 1 主要 应 用 于 双 摄像 2000 200 400 600 800 1000 1200 1400 
机 系统 。 三 维 视线 估计 检测 三 维 视 x 





线 参 数 ， 通 过 空间 几何 模型 换算 成 图 8.12 支持 矢量 回归 补偿 前 后 对 比 

三 维 视线 方向 。 然 后 通过 视线 方向 

和 屏幕 的 交点 即 可 得 到 注视 点 。 参 考 文献 [22] 提出 了 一 种 用 来 估计 三 维 视线 方向 的 方法 ， 
其 使 用 一 个 单 校准 摄像 机 和 至 少 两 个 光源 。 首 先 ， 使 用 光源 测量 每 个 使 用 者 的 眼球 角膜 半 
径 。 使 用 一 系列 高 阶 多 项 式 方程 来 计算 角膜 的 半径 和 中 心 ， 但 是 它们 的 解 不 是 惟一 的 。 因 
此 ， 如 何 从 这 些 解 中 找到 正确 的 答案 仍然 是 个 问题 。 目 前 ， 还 没有 成 功 应 用 此 方法 的 实用 系 
统 。 参 考 文献 [23] 提出 了 一 种 类 似 的 方法 来 估计 三 维 视线 方向 。 方 法 限定 了 一 些 初始 条 
件 : 首先 角膜 半径 、 瞳 孔 和 角膜 中 心 的 距离 对 所 有 用 户 是 一 样 的 ， 当 然 事实 上 并 不 是 如 此 ; 
其 次 用 来 计算 角膜 中 心 的 公式 是 基于 红外 光源 虚 图 像 在 角膜 表面 上 的 假设 ， 事 实 上 红外 光源 
的 虚 图 像 是 在 角膜 里 面 而 非 表面 。 因 此 ， 计 算 角 膜 中 心 的 公式 是 不 准确 的 。 参 考 文献 [24] 
提出 了 另 一 个 系统 和 至 少 有 7 个 参数 的 复杂 有 眼球 模型 来 估计 三 维 视线 方向 。 首 先 三 维 眼球 模 
型 会 针对 每 个 使 用 者 进行 建 模 ， 它 将 一 系列 的 图 像 特征 通过 非 线性 估计 技术 适 配 至 眼球 模型 
中 以 达到 建 模 的 目的 。 用 以 适 配 模型 的 图 像 特征 仅仅 包括 由 红外 光源 产生 的 角膜 反射 和 瞳孔 
边缘 。 但 是 角膜 反射 的 是 由 红外 光源 照射 角膜 产生 的 虚 图 像 的 投影 ， 并 不 在 角膜 表面 而 在 角 
膜 内 部 。 同 样 ， 瞳 孔 边 缘 也 不 是 在 三 维 眼球 模型 的 表面 。 因 此 ， 角 膜 半径 不 能 基于 上 述 方法 
得 到 。 此 外 ， 对 这 样 复杂 的 三 维 模型 只 使 用 很 少 的 特征 点 ,方程 的 解 对 噪声 会 很 敏感 ， 鲁 棒 
性 也 较 差 。 参 考 文献 [25] 提出 了 一 种 使 用 多 摄像 机 和 多 光源 估计 三 维 视线 方向 的 方法 。 















































明显 的 局 限 。 特 别 是 当 用 户 注视 点 在 两 台 摄 像 机 的 光学 中 心 的 连 线 上 时 ， 三 维 视线 方向 不 能 
惟一 确定 。 参 考 文献 [26] 使 用 一 个 或 两 个 摄像 机 配合 多 个 光源 来 估计 三 维 视线 。 首 先 重 
建 眼睛 的 光 轴 ， 之 后 通过 一 个 校准 过 程 用 已 知 的 光 轴 得 到 视 轴 。 文 中 通过 对 多 个 系统 的 比较 
分 析 ， 得 出 了 三 维 视线 估计 的 系统 理论 上 的 最 低 配置 : 一 台 摄 像 机 和 两 个 光源 配 及 一 些 使 用 
者 眼睛 的 独立 参数 ， 或 是 不 用 参数 情况 下 使 用 两 台 摄像 机 和 两 个 光源 。 文 中 用 一 人 台 摄 像 机 和 
两 个 光源 实现 了 一 个 视线 估计 系统 ， 并 实验 验证 了 其 准确 性 。 与 双 摄 像 机 直接 估计 视线 的 系 
统 相 比 ， 单 摄像 机 代表 了 一 种 重要 的 简化 ， 但 是 这 种 方法 不 能 适应 头 动 较 大 的 情况 。 

综 上 所 述 ， 三 维 视线 估计 方法 有 以 下 几 个 优点 : 

1) 因为 采用 立体 视觉 ， 因 此 可 以 检测 使 用 者 头 部 的 空间 位 置 ， 所 以 允许 使 用 者 头 部 自 
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然 运 动 。 

2) 因为 只 要 标定 视线 与 眼球 光 轴 的 夹 角 ， 不 需要 依靠 标定 确定 眼睛 特征 参数 与 视线 的 
映射 函数 ， 所 以 标定 点 数 较 少 。 在 双 摄 像 机 双 光 源 的 条 件 下 ， 可 以 做 到 单 点 标定 。 

3) 三 维 视线 估计 方法 估计 的 是 空间 视线 方向 ， 而 不 是 屏幕 视线 落 点 ， 所 以 视线 估计 不 
依赖 于 屏幕 位 置 、 大 小 、 形 状 ， 可 以 计算 视线 在 任何 物体 上 的 注视 点 ， 并 且 不 需要 重新 标定 
视线 佑 计 函 数 。 

同时 ， 三 维 视线 佑 计 方 法 有 以 下 几 个 缺点 : 

1) 在 现存 的 三 维 视线 佑 计 方法 中 ， 要 么 需要 关于 用 户 眼 球 参数 的 独立 信息 ， 要 么 需要 
至 少 两 台 摄 像 机 和 两 个 光源 的 复杂 人 硬件 配置 ， 否 则 就 不 能 解决 头 动 问题 。 但 是 使 用 者 眼球 的 
独立 信息 ， 如 角膜 半径 和 瞳孔 中 心 与 角膜 中 心 的 距离 ， 是 非常 小 的 〈 一 般 小 于 10mm ) 。 因 
此 ， 在 不 借助 其 他 仪器 的 情况 下 ， 准 确 地 间接 估计 眼球 独立 参数 是 很 难 实现 的 。 

2) 即使 采用 一 台 摄 像 机 和 两 个 光源 配 以 使 用 者 眼睛 独立 参数 的 方案 ， 在 系统 标定 过 程 
中 也 要 使 用 至 少 两 台 摄像 机 。 

3) 因为 需要 估计 和 角膜 球面 中 心 的 空间 位 置 ， 而 角膜 球面 中 心 不 可 见 ， 需 要 至 少 两 个 光 
源 的 像 去 估计 角膜 球面 中 心 的 空间 位 置 ， 所 以 至 少 需要 两 个 光源 。 

4) 需要 进行 摄像 机 标定 ， 需 要 进行 光源 位 置 标定 和 屏幕 位 置 标定 ， 并 且 三 维 视线 佑 计 
对 以 上 位 置 非常 敏感 。 当 摄像 机 发 生变 化 不 仅 要 对 自身 重新 进行 标定 ， 而 且 要 对 光源 和 屏幕 
重新 进行 标定 ， 光 源 和 屏幕 发 生变 化 要 对 自身 重新 进行 标定 。 

基于 二 维 映射 模型 的 视线 估计 方法 ,通过 一 个 经 过 校准 的 视线 映射 函数 来 估计 视线 方 
向 ， 映 射 函 数 的 输入 是 从 眼睛 图 像 提 取 的 一 系列 二 维 眼 动 特征 ， 输 出 是 视线 方向 或 注视 点 。 
二 维 映 射 模型 不 需要 估计 三 维 的 视线 方向 ， 所 以 不 需要 使 用 摄像 机 立体 视觉 系统 ， 不 需要 进 
行 摄像 机 及 摄像 机 立体 视觉 系统 的 标定 ， 不 需要 进行 光源 和 屏幕 三 维 位 置 的 标定 ， 为 低 硬件 
配置 条 件 下 的 视线 估计 提供 了 有 效 的 解决 方案 。 

提取 的 二 维 眼 动 特征 随 视 线 而 变化 ， 使 它们 之 间 的 关系 可 以 由 一 个 视线 映射 函数 来 表 
示 。 为 了 得 到 视线 映射 函数 ,需要 对 每 个 使 用 者 进行 在 线 校准 。 但 是 二 维 眼 动 特 征 随 着 头 部 
位 置 的 变化 而 显著 变化 ， 因 此 校准 的 视线 映射 函数 对 头 部 位 置 非常 的 敏感 。 因 此 ， 为 了 
得 到 准确 的 注视 点 ， 使 用 者 需要 保持 头 部 静止 。 如 果 使 用 者 保持 其 头 部 固定 ,或 通过 支架 限 
制 其 头 部 活动 ， 眼 睛 注视 点 跟踪 的 结果 可 以 达到 非常 高 的 精度 。 平 均 误差 可 以 小 于 1" (对 
应 在 计算 机 屏幕 上 少 于 10mm) 。 但 是 如 果 头 部 离开 使 用 者 校准 时 的 位 置 ， 视 线 跟 踩 系统 的 
准确 性 将 显著 下 降 。 参 考 文献 [27] 报告 了 相关 详细 的 数据 ， 数 据 显示 视线 映射 函数 的 准 
确 性 将 严重 降低 。 虽 然 可 以 通过 使 用 者 局 部 手工 重新 校准 来 解决 这 个 问题 ”， 但 是 这 给 使 
用 者 带 来 许多 麻烦 。 

综 上 所 述 ， 二 维 视线 佑 计 方 法 有 以 下 几 个 优点 : 

1) 因为 二 维 视线 估计 仅 需 要 使 用 平面 眼睛 特征 参数 ， 眼 睛 特征 检测 识别 和 特征 参数 提 
取 简 单 快速 。 

2) 因为 不 需要 采用 立体 视觉 ， 所 以 可 以 使 用 单 摄像 机 ， 系 统 结构 简单 且 成 本 较 低 。 

3) 不 需要 估计 和 角膜 球面 中 心 的 空间 位 置 ， 仪 需要 知道 平面 图 像 上 的 一 个 普尔 钦 斑 与 瞳 
孔 中 心 的 相对 位 置 就 可 以 进行 二 维 视线 估计 ， 所 以 可 以 采用 单 光 源 。 

4) 二 维 视线 估计 的 精度 依赖 于 标定 算法 而 不 依赖 于 立体 视觉 ， 不 需要 进行 三 维 重 构 ， 
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对 硬件 配置 要 求 较 低 。 
5) 不 需要 进行 摄像 机 标定 ， 也 不 需要 进行 光源 位 置 和 屏幕 位 置 等 系统 标定 ， 仅 需 进 行 


用 户 标定 。 
同时 ， 二 维 视线 佑 计 方 法 有 以 下 几 个 缺点 : 


1) 


速 下 降 ， 所 以 使 用 者 需要 保持 头 部 静止。 


2) 





二 维 视线 估计 依赖 于 标定 位 置 ， 视 线 估计 的 精度 随 着 使 用 者 头 部 远离 标定 位 置 而 迅 





使 用 时 需要 依靠 针对 用 户 的 初始 标定 确定 眼睛 特征 参数 与 视线 的 映射 函数 ， 所 以 标 


定点 数 较 多 。 
概括 来 说 ， 理 想 的 视线 佑 计 方 法 需要 满足 以 下 几 点 要 求 : 


1) 
2) 
3) 
4) 
5) 
6) 
7) 
8) 


准确 ， 例 如 精确 到 分 〈 角 度 ) 。 

可 靠 ， 结 果 可 重复 。 

鲁 棒 性 好 ， 可 以 在 各 种 条 件 下 正常 工作 ， 如 室内 /室外 、 带 眼镜 /隐形 眼镜 。 
非 接触 式 ， 对 用 户 无 害 ， 舒 适 的 。 

允许 头 部 自由 运动 。 

初始 校准 尽 可 能 少 。 

实时 。 

硬件 配置 简单 低廉 。 


而 现 有 的 视线 估计 方法 都 不 能 完全 满足 上 述 要 求 。 
直接 的 三 维 视线 估计 方法 存在 两 个 共同 的 缺点 : 


1) 
2) 


至 少 需要 两 台 摄 像 机 (已 标定 ) 和 两 个 光源 的 复杂 硬件 配置 。 
繁杂 的 系统 标定 过 程 。 


现 有 的 基于 二 维 视线 映射 模型 的 佑 计 方 法 存在 两 个 共同 的 缺点 : 


1) 
2) 


上 述 内 容 详细 分 析 了 现 有 的 二 维 视线 映射 模型 和 三 维 
视线 估计 方法 的 优点 和 缺点 。 基 于 解析 头 动 补偿 的 视线 估 
计 模 型 是 一 种 可 适应 自然 类 动 的 视线 佑 计 方 法 (Gaze Es- 


timation Method with Head Compensation, Single Camera, 


用 户 使 用 前 都 需要 进行 多 点 个 体 标定 ; 
用 户 需要 保持 头 部 静止。 


视线 特征 向 量 忆 











Single Light Source, One-point Calibration ，GEMHSSO ) iX 头 部 位 置 补偿 


种 视线 佑 计 模 型 采用 的 视线 追踪 系统 是 本 书 3. 2. 2 节 介 绍 
的 单 摄像 机 主动 红外 光源 系统 。 在 单 摄像 机 单 光源 条 件 下 
实现 了 头 动 对 视线 参数 影响 的 解析 补偿 ， 使 精确 视线 估计 
的 最 小 硬件 要 求 降低 到 单 摄像 机 (未 标定 ) 单 光源 。 这 样 
既 不 需要 繁杂 的 系统 标定 ， 又 实现 了 自然 类 动 视线 估计 ， 












并 且 将 用 户 标 定 简化 为 单 点 标定 。 如 图 8.13 所 示 ， 基 于 图 8. 13 ”视线 估计 框架 
瞳孔 中 心 -角膜 反射 (PCCR) 的 视线 估计 方法 主要 包括 个 体 差异 补偿 ,视线 映射 函数 和 头 部 
位 置 补偿 三 部 分 。 


8.1.3.1 


系统 构成 及 视线 特征 矢量 


硬件 系统 由 光源 、 滤 光 片 、 镜 头 、 图 像 采集 卡 、CCD 摄像 机 、GPIO 卡 、 单 片 机 、 主 机 
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和 屏幕 组 成 ， 系统 构成 如 本 书 3. 2. 2 节 所 述 。 工 作 时 ,使 用 者 注视 屏幕 ， 由 CCD 摄像 机 获 
取 人 脸 图 像 ， 通 过 图 像 采 集 卡 传 到 主机 ， 主 机 通过 特征 参数 提取 和 视线 映射 函数 来 得 到 视线 
落 点 ， 并 显示 在 屏幕 上 。 男 一 方面 ， 为 了 得 到 方便 处 理 的 人 脸 图 像 ， 先 采用 GPIO 卡 获 取 
CCD 摄像 机 视频 图 像 的 帧 同步 信号 ， 青 通过 单片机 控制 光源 的 开关 ， 然 后 通过 内 外 环 光源 
的 交 蔡 开关 产生 交替 的 亮 瞳 和 暗 瞳 图 像 ， 最 后 采用 主动 近 红 外 光源 进行 照明 ， 并 且 使 用 了 对 
应 波长 的 滤 光 片 ， 使 拍摄 的 人 脸 图 像 受 外 部 光照 影响 很 小 ， 图 像 灰 度 稳定 。 

首先 ， 亮 瞳 与 暗 瞳 图 像 相 减 得 到 差分 图 像 ， 再 对 差分 图 像 做 滤波 ,得 到 瞳孔 区 域 。 检 测 
瞳孔 区 域 的 边缘 并 在 眼睛 区 域 附近 基于 灰 度 搜索 角膜 反射 。 求 质心 来 定位 角膜 反射 中 心 ， 并 
对 瞳孔 边缘 做 滤波 消除 角膜 反射 对 瞳孔 边缘 轮廓 的 影响 ， 椭 圆 拟 合 定位 瞳孔 中 心 ， 得 到 亚 像 
素 的 中 心 坐 标 。 最 后 提取 的 视线 特征 矢量 工 , 为 



































式 中 ，(Ax，Ay) 为 瞳孔 中 心 到 角膜 反射 的 矢量 ，( Ax，Ay) =pij, Di; 为 腾 孔 椭圆 


长 短 轴 的 比 ; 0 为 瞳孔 椭圆 长 轴 与 亚 直 方向 的 角度 ; G, j) 为 瞳孔 中 心 在 图 像 中 的 位 置 从 
bk. GL. J) 为 角膜 反射 在 图 像 中 的 位 置 坐标 。 
8.1.3.2 个 体 差异 补偿 

眼 据 采用 的 特征 矢量 二 = (Ar, av, rm, o, i, j), 为 了 补偿 个 体 差异 对 视线 估计 
的 影响 ， 在 经 过 大 量 实 验 基础 上 ， 总 结 出 以 下 事实 ， 

D) 不 同 的 使 用 者 在 同一 位 置 注 
视 同一 点 的 情况 下 ， 眼 球 的 方位 是 大 
致 相同 的 。 因 此 ，(Ax，Ay) 的 方向 
是 大 致 相同 的 ， 其 方向 的 差异 是 由 于 
视线 和 眼球 光 轴 夹 角 的 个 体 差异 造成 
的 ， 如 图 8. 14a 所 示 。 这 个 差异 可 以 
通过 单 点 用 户 标定 进行 捕 提 。 

2) 不 同 的 使 用 者 在 同一 位 置 注 
视 同一 点 的 情况 下 ，(Ax，Ay) 的 长 




















度 差 异 往往 大 于 方向 的 差异 。 其 差异 S 
是 由 于 角膜 球面 半径 大 小 的 个 体 差异 i ADR 
造成 的 ， 这 个 差异 也 可 以 通过 单 点 用 8&1(82) 





户 标定 进行 捕捉 。 如 图 S. 14b 所 示 ， 
当 角膜 球面 半径 发 生变 化 时 ， 瞳 孔 中 
心 P 发 生 线性 变化 ， 图 像 中 的 瞳孔 
Tub p, 也 随 之 线性 变化 ， 而 图 像 中 的 四 

普尔 钦 斑 g, 不 变 。 即 角膜 球面 半径 增加 上 倍 ，gi 到 p 的 矢量 (Ar, Ay) 长 度 随 之 增加 


ffo 


摄像 机 Z 轴 
b) 角膜 球面 半径 个 体 差 异 





第 8 章 视线 方向 计算 模型 . 209 . 








3) 不 同 的 使 用 者 在 同一 位 置 注视 同一 点 的 情况 下 ，| 


的 。 

基于 上 述 事 实 ， 在 此 提出 一 种 视线 特征 矢量 个 体 差异 补偿 方法 ,通过 单 点 标定 确定 使 用 
者 的 角膜 半径 比例 系数 上 和 视线 偏 角 入 ， 补 偿 方法 如 下 : 

(Ax', Ay') = k(AxcosA - AysinA , AxsinÀ + AycosA ) (8. 19) 

(Ax, Ay) 为 补偿 前 的 瞳孔 中 心 到 普尔 钦 斑 矢量 ，(Ax'，Ay') 为 补偿 以 后 的 瞳孔 中 心 
到 普尔 钦 斑 矢量 。5 为 使 用 者 的 角膜 半径 比例 系数 ,和 为 视线 偏 角 。 首 先 ， 通过 视线 偏 角 对 
特征 矢量 进行 旋转 得 到 (AxcosA - AysinA ，AxsinA + AycosA)， 然 后 乘 以 比例 系数 得 到 最 
后 的 特征 矢量 ， 补 偿 以 后 的 视线 特征 矢量 工 ;为 


Anator 
Fol ! ! major E E 
Li ni (ax „Ay , "S 
C minor 


a major 
A gi, 


，9， i) proto 




















8.1.3.3 多项式 模型 
完整 的 视线 映射 函数 (G,,G,) = FAx, Ay) 是 一 个 复杂 的 非 线性 函数 ， 本 节 所 讨论 的 是 
使 用 者 和 头 部 位 置 固定 情况 下 的 视线 映射 函数 (G,,G,) = f(Ax, Ay) 。 在 前 述 的 单 摄像 机 双 


环形 光源 视线 追踪 系统 配置 下 ， 其 函数 规律 总 结 如 下 . 
G, = F.( Ax, Ay) a (Ay) + a4 (Ay) Ax (8.20) 
a (Ay) ~ a, + a,Ày (8.21) 
w (Ay) ~ a; + ag Ay (8.22) 
G, = f (Ax, Ay) = b, (Ax) + b,Ay b, Ay (8.23) 
站 (8.24) 


可 以 看 到 , (G,,G,) - f( Ax, Ay) 中 有 8 ARIZ, IIN a4, az, as, as, bi, ba, b, 
5。 此 处 ， 使 用 缺 项 的 二 阶 多 项 式 效果 最 好 。 如 果 采 用 一 阶 多 项 式 ， 不 能 很 好 地 拟 合 函 数 。 
如 果 采 用 三 阶 以 上 的 多 项 式 ， 拟 合 的 效果 很 好 ,但 是 由 于 过 拟 合 所 以 泛 化 能 力 较 差 .并 且 阶 
数 过 多 会 需要 很 多 的 拟 合 点 ， 增 加 了 标定 的 负担 。 通 过 实验 发 现 二 阶 的 拟 合 和 泛 化 能 力 最 适 
合 ， 并 且 有 些 项 的 系数 很 小 可 以 省 略 ， 从 而 减少 了 需要 的 标定 点 ， 所 以 最 后 得 到 上 面 的 
(G,,G,) = f( Ax, Ay) 。 此 函数 通过 4 个 以 上 的 标定 点 就 可 以 确定 关系 ， 为 了 履 盖 屏幕 落 点 
的 各 个 区 域 ， 通 过 9 个 标定 点 对 应 的 18 个 等 式 对 8 个 未 知 数 进行 多 项 式 回 归 ， 这 个 回归 过 
程 只 在 建立 模型 的 时 候 进行 一 次 。 一 旦 8 个 未 知 数 已 经 确定 ， 以 后 不 同 使 用 者 使 用 系统 时 ， 
因为 已 经 经 过 上 个 步骤 的 个 体 差异 补偿 ， 所 以 可 以 直接 使 用 这 个 视线 映射 函数 ， 无 需 重新 进 
行 回归 过 程 。 
8.1.3.4 头 部 位 置 补偿 

为 了 解决 使 用 者 头 部 位 置 改 变 对 视线 估计 精度 的 影响 ， 该 方法 通过 分 析 头 动 后 眼 部 特征 
和 头 部 位 置 变化 的 关系 ， 提 出 了 相应 的 补偿 方法 。 当 用 户 在 0, 和 0, 两 个 位 置 注视 同一 屏幕 
点 5 时， 如 图 8.15 所 示 ，7 为 屏幕 注视 点 S 到 镜头 中 心 o WER, PG 和 P,G, 分 别 为 0， 
和 O, 位 置 瞳孔 到 普尔 钦 斑 的 矢量 值 ，pjg, FI pe: 分 别 为 0, 和 0, 位 置 瞳 孔 到 普尔 钦 斑 矢量 
的 图 像 值 ，r 为 角膜 曲率 半径 ，D MD, 为 角膜 曲率 中 心 到 视线 落 点 $ 的 距离 。 

通过 三 角形 oS0,, oSO, 的 几何 比例 关系 可 得 到 
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角膜 
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1 
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b) 侧 视 图 
P&P, 









显示 器 平面 




















角膜 


c) 俯视 图 








图 8.15 头 部 位 置 对 视线 特征 矢量 的 影响 
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PG r PG r 
T Bh T A Garda) 
Bp 
P,G, D, 
s2 .2 
P,G, D, s 2 


AP, d, fl d, 分 别 为 0, 和 0, 位 置 角膜 曲率 中 心 到 屏幕 的 距离 ; /为 镜头 焦距 ， 即 焦点 到 
CCD 面板 的 距离 。 根 据 成 像 原 理 有 
PG, d, P,G, d, 











= - (8. 27) 
pa f p& f 
由 上 和 式 可 以 得 到 
Pig! d, .PG d, D (8.28) 
P282 d, P,G, d, D, l 
Bp 
d, D 
i Ne MI (8.29) 
pog; d, D, 


由 于 单 摄像 机 视线 追踪 系统 无 法 测量 角膜 曲率 中 心 到 屏幕 的 距离 d 和 角膜 曲率 中 心 到 视 
线 落 点 的 距离 忆 ， 所 以 该 方法 采用 使 用 者 在 不 同位 置 时 摄像 机 测量 的 瞳 距 值 进行 代替 。 

如 图 8. 16a 所 示 ， 使 用 者 的 瞳 距 工 是 固定 值 。 但 当 使 用 者 处 于 不 同位 置 时 ， 瞳 距 在 图 像 
ERSTE L IL, 与 用 户 距 摄像 机 距离 成 反比 ， 即 











L f Lf 

L d, L d, quc 

d. L, 

由 此 可 得 "nn 

如 图 8. 16b 所 示 ， 可 以 通过 瞳孔 椭圆 的 曲率 估计 和 角膜 曲率 中 心 到 视线 落 点 的 距离 Do 

pat (8.31) 

cosy; 

d, 
D, = (8.32) 

cosy, 


~ d minor d minor D 5T E Y mà AT 
XUP, cosy, = m RS cosy, = 2-1 所 以 cosy, 由 特征 矢量 可 知 ，y, 为 标定 位 置 瞳 孔 角 度 ， 
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a 显示 器 平面 




















a) 瞳 距 与 距离 关系 
图 8.16 头 部 位 置 对 瞳 距 值 的 影响 
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b) 瞳孔 角度 与 距离 关系 


显示 器 平面 





角膜 









d, 





c) 头 部 位 置 对 瞳孔 角度 的 影响 


显示 器 平面 











d) 头 部 转动 对 瞳 距 值 的 影响 





图 8.16 ( 续 ) 
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T, +AT 
d, 





2. WD T ud 
如 图 8. 16c 所 示 。 = tany], 了 = tany, ， 即 = tany,, 可 得 地 tany， 十 a =tany,o 3j 
1 2 2 


d, 


外 ， 根 据 成 像 关 系 有 AT- Ar, 其 中 ，Ar 为 图 像 距离 ，/ 为 相机 焦距 。 由 此 ，tany, 可 知 。 


如 图 8. 16d 所 示 ， 头 部 转动 会 造成 图 像 中 瞳 距 的 变化 ， 需 要 计算 消除 头 部 转动 的 瞳 距 
及。 设 左右 瞳孔 在 图 像 中 的 长 轴 分 别 为 w 、as， 左 右 角膜 曲率 中 心 到 屏幕 的 距离 分 别 为 z1、 
zy, L, 为 标定 位 置 的 图 像 瞳 距 z 为 标定 位 置 到 屏幕 的 距离 ， 根 据 成 像 关 系 和 几何 关系 有 

































































ZL _ QR 
ZR (d, 
ZL -ze _ OM 
L 0,0, 
B oa UU (8.33) 
Zi -. O,0g 
L, 
ZL t ZR 
E 
OM Y i 
(oo. * (oro) ^ 
0,0, 0,0, 
即 
Zy ^ IR 
ZR (4, 
" z, : (8. 34) 
e 3 Ur." 
—— (4| ^ (s sm) =1 
L poc MESES 
2 
解 得 
zę =a, LL, VI/ (an -ar) +E (L, (agp +a) 72z)?] (8.35) 
z, sagLL, MV/ (ag -a,)^ + (L, (ag +a) /2z1)°] (8. 36) 
zı 2z, 
Ign E 2 2 77 2 
E (ay a) L AZ TE. Casca) E (Ls Canta) 722)7] 
(8.37) 
d; 
所 以 根据 BERTI 有 
pag; d, D, 
pg _ d,d,cosy, | E cosy, 
P282 d, d,cosy, d,/ cosy, 
s L, ? cosy, 
2z cosy, 
(ag + a,)L 1/[ L; (ag - a)? +L (L,(ar + a1)/2z1)°] 
2 
- EXC im) S1/[L (ag -a,)? +L’ (L, (ar oT Seri (8.38) 
2z cosy, 
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即 








Eu - EA +a) VIM -a,) * L(L,(ag + 27287] een (8.39) 
P282 2z, cos 

AA PUES MASSEN, EARME TOREM, ERP EEA L,。 根 据 前 述 的 瞳 
距 和 图 像 矢 量 差 的 关系 ,将 L, 位 置 的 瞳孔 与 普尔 钦 斑 矢量 差 pug, 自动 转化 为 标定 位 置 的 矢 
量 差 pig, ， 有 








P181 — P282 





EAC iu) L (ag -a) I oe 
2z; cosy, 
(8. 40) 
这 样 ， 用 户 在 瞳 距 为 L, 位 置 上 时 ， 仍 然 可 以 得 到 标定 位 置 对 应 的 矢量 值 ， 由 此 消除 了 
头 动 带 来 的 视线 估计 误差 。 
以 上 求解 过 程 是 对 于 非 标定 摄像 机 而 言 的 ， 只 需要 知道 摄像 机 的 焦距 了 即 可 求解 。 如 果 
事先 标定 出 摄像 机 的 主 点 (ww，wmw) ， 则 角膜 的 空间 位 置 可 由 单 摄像 机 空间 重建 直接 求 得 。 











0. 
相对 于 人 机 距离 ,空间 中 角膜 空间 位 置 0 的 空间 坐标 | O, 可 由 有 瞳孔 中 心 空间 坐标 
0, 


P, 
Py et. 根据 单 摄像 机 成 像 原理 ， 瞳 孔 中 心 空间 位 置 P 的 空间 坐标 | P, | 可 由 下 面 的 公式 


P, 
P, P, Px 一 Lo 
P, |= F| P, -v 
P, f 


AP, (w, v) 为 摄像 机 的 主 点 ; /为 相机 的 焦距 ; (p,, p) 为 瞳孔 中 心 的 图 像 坐 标 ; P, 为 
瞳孔 的 z 坐标 ，P. 可 由 标定 位 置 的 瞳孔 z 坐标 Pi. 与 人 脸 尺 度 因数 6 求 得 ， 即 P. = Pi./6。 由 





"s. 
qi 


(8.41) 











P. P, 

IE, P, 的 空间 坐标 | P, |, P, 的 空间 坐标 | Pa | 可知。 进一步 ， 上述 头 动 补偿 过 程 中 的 d， = 
Pi, Py 

PL, dj P4, AT = J(P, -P,) - (P, - P) 可 知 。 则 上 述 头 动 补偿 过 程 可 以 进一步 简 


如 图 8. 15 所 示 ， 通 过 三 角形 oSO,, oSO, 的 几何 比例 关系 及 成 像 原理 有 
Pign d, PG d, „D, 





= - (8. 42) 
P282 d, P,G, d, D, 
Bp 
P181 d, D, 
一 一 三 一 一 一 (8. 43) 
P282 d, D 


如 图 8. 16b 所 示 ， 可 以 通过 瞳孔 椭圆 的 曲率 估计 角膜 曲率 中 心 到 视线 落 点 的 距离 为 
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D, = (8. 44) 
cosy; 
d, 
D, = 2 (8. 45) 
cosy, 
即 
B6 = 时. 二 = (A) en (8.46) 
P282 d, D, d, cosy, 





RP, cosy, = es， 由 当前 位 置 瞳 孔 长 短 轴 之 比 可 求 得 ，》， 为 标定 位 置 瞳 孔 角度 ， 可 如 下 


求解 : 
T, T,-AT dtany, - AT 
d d o d, 
EG, d, dj, AT, yi, y, 都 已 知 ， 可 解 出 特征 矢量 的 补偿 关系 ， 即 
p& 45. D Ej 
P282 d, D, d, cosy, 
以 上 依靠 单 摄像 机 标定 结果 的 计算 过 程 ， 对 单 摄像 机 三 维 重 建 的 要 求 不 高 ， 远 远 低 于 基 
于 立体 视 党 的 几何 模型 对 三 维 重 建 的 要 求 。 三 维 重建 误差 对 视线 估计 结果 的 影响 分 析 如 下 : 
当 瞳 孔 三 维 位 置 P, 重建 不 准确 时 ， 实 际 瞳孔 距离 D, 与 测量 的 距离 有 误差 AD, ， 那 么 计 
算得 到 的 视线 落 点 与 实际 落 点 有 AM 的 误差 。 特 征 补 偿 为 
pg d, D, d,*Ad, D, * AD, d,:D, d,:AD, Ad,:D, Ad, AD, 





tany; = (8.47) 



































pg d D d, D, "d-D, dD  d-D,* d, * D, 
(8. 48) 
又 因为 d —d,, D,7D,, Ad, * AD, ««d, * D,, PTW 
Pigi1 d,*D, AD, Ad, AD, 
Wn d wm T PUE TUE (8. 49) 
即 
AD, 
Pigi ~ P282 + 2ps8» D, (8. 50) 

















D, 一 般 为 80cm 左右 ,屏幕 尺寸 一 般 在 30cm 左右 ， 如 果 要 求 映 射 以 后 的 落 点 误差 AM 
«1. 5em, HPA P, 和 P, 重建 误差 对 最 后 的 影响 分 别 不 能 大 于 0. 75cm, BI 


2 











A 
2 < 0. 75/30 = 0. 025 (8.51) 


1 


即 
AD，< A «0.025 = lcm (8. 52) 
也 就 是 说 ， 单 摄像 机 三 维 重建 精度 可 以 允许 高 达 Lem 的 误差 。 
8. 1. 3.5 实验 结果 
1. 不 同 使 用 者 的 视线 估计 结果 
在 单 摄像 机 双环 形 光源 视线 妃 踪 系统 中 ， 对 不 用 的 使 用 者 的 视线 估计 效果 进行 了 测试 。 
测试 过 程 中 ， 系 统 将 实时 记录 下 所 有 落 点 信息 ， 并 计算 出 在 分 别 注视 每 个 目标 对 象 的 一 定时 
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长 内 所 有 落 点 的 位 置 均值 。 考 虑 到 人 相对 于 摄像 机 的 位 置 不 同 ， 视 线 追 踊 精 度 也 不 尽 相 同 ， 
因此 在 测试 过 程 中 选取 了 几 个 有 重要 意义 的 位 置 。 在 标定 位 置 为 原点 的 坐标 系 下 (单位 为 
mm) ， 首 先 在 (0，0，0) 处 即 标定 位 置 处 。 选 取 此 位 置 的 目的 是 测试 由 标定 信息 带 入 的 原始 
误差 ， 然 后 分 别 到 (100, 0, 0) 和 (0,，50, 0) 处 。 它 们 分 别 为 水 平和 竖 直 方向 正常 头 动 位 
置 。 接 下 来 到 (0，0，-100) 处 ， 此 位 置 算是 离 摄像 机 较 近 的 位 置 。 最 后 到 (0，0，100) 处 ， 
这 是 离 摄像 机 较 远 的 位 置 。 

对 数据 进行 离线 处 理 ， 得 到 7 位 使 用 者 在 几 个 位 置 上 对 注视 屏 上 所 有 对 象 的 追踪 精度 平 
均 水 平 ( 见 表 8.4) 。 其 水 平方 向 平均 精度 为 1.4* 左 右 ， 竖 直方 向 平均 精度 为 1.6° 左 右 。 图 
8. 17 所 示 为 使 用 者 3 在 (100, 0,，0) 点 的 视线 估计 结果 。 

表 8.4 不 同 使 用 者 的 视线 估计 结果 


























































































































使 用 者 水 平方 向 精度 A/mm, o/(°) 竖 直 方向 精度 A/mm, e7(*) 
1 12. 00 +7. 54, 0. 86 +0. 54 14.24 +8.65, 1.02 +0.62 
2 26. 11 +10. 19, 1.87 +0.73 32. 83 +12. 42, 2.35 +0. 89 
3 26. 81 +5.58, 1.92 +0.40 19. 83 +6.28, 1.42 +0.45 
4 16. 89 +6.42, 1.21 +0.46 23. 46 € 7.40, 1.68 +0. 53 
3 18. 43 x4. 18, 1.32 +0.30 24.02 x5. 72, 1. 72 x0. 41 
6 21. 78 £9. 21, 1.56 x0. 66 37.44 €12. 98, 2.68 +0.93 
7 20. 11 +4.74, 1.44 x0. 34 26.81 x7. 26, 1.92 +0. 52 
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图 8.17 估计 视线 与 真实 视线 比较 
2. 与 其 他 视线 估计 方法 的 比较 
对 几 种 视线 估计 方法 进行 了 对 比 。 图 8. 18 给 出 使 用 者 视线 估计 结果 与 真实 视线 的 角度 
误差 。 


参考 文献 [3 ] 描 述 的 是 一 种 典型 的 二 维 映 射 模型 视线 估计 方法 。 为 了 估计 眼睛 的 注视 
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点 ， 必 须 从 图 像 序列 得 到 5 个 角膜 反射 和 瞳孔 中 心 。 首 先 ， 检 测 角膜 反射 。 第 一 步 是 输入 暗 
瞳 图 像 的 靖 值 以 获得 二 值 图 像 ， 第 二 步 是 对 二 值 图 像 进行 二 值 化 ， 在 二 值 图 像 中 有 4 个 红外 
角膜 反射 点 ; 第 三 步 是 计算 各 个 区 域 的 中 心 位 置 。 

然后 是 瞳孔 中 心 检测 ELA 3 1S8 E RE TU PD BED, ERE HP ARIES 24 B5 B HECRIL IR 
声 ， 瞳 孔 边 界 区 域 有 时 不 清楚 ， 质 心 法 无 法 准确 检测 瞳孔 中 心 。 为 了 降低 噪声 的 影响 ， 考 虑 
到 瞳孔 边界 近似 于 椭圆 ， 用 椭圆 拟 合 可 以 减少 噪声 影响 ， 提 高 检测 精度 。 第 一 步 是 分 别 获 得 
亮 瞳 和 暗 瞳 图 像 ， 第 二 步 是 通过 靖 值 对 图 像 进行 差分 ， 由 此 产生 的 图 像 是 一 个 二 值 图 像 ; 第 
三 步 是 确定 瞳孔 区 域 的 边缘 ; 第 四 步 是 直接 用 椭圆 拟 合算 法 计算 瞳孔 中 心 位 置 。 

参考 文献 [ 6] 描述 的 是 典型 的 直接 三 维 视线 估计 方法 。 它 是 一 种 完全 依靠 空间 几何 计算 
实现 用 户 视线 落 点 运算 的 方法 。 其 主要 思路 是 通过 计算 用 户 真 实 的 空间 视线 方向 与 屏幕 的 交 
点 来 确定 的 。 通 过 双 目 视觉 定位 原理 测定 在 眼睛 中 产生 的 普尔 钦 斑 的 空间 坐标 。 由 于 将 角膜 
看 做 了 一 个 凸 镜 ， 所 以 根据 凸 镜 原 理 就 可 以 测定 由 多 光源 形成 的 多 个 普尔 钦 斑 在 角膜 上 的 位 
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孔 中 心 在 同 光 轴 上 ， 所 以 可 以 通过 双 目 视觉 测定 瞳孔 中 心 后 ， 得 到 光 轴 的 空间 方向 。 根 据 眼 
球 构造 原理 ， 人 类 的 视觉 是 由 视 轴 决定 的 ， 而 光 轴 和 视 轴 间 存 在 一 个 与 个 人 特征 无 关 的 固定 
偏差 角 kappa。 通 过 偏差 角 就 可 以 很 容易 地 求 得 视 轴 方 向 。 偏 差 角 kappa 可 以 通过 一 个 简单 
的 校准 得 到 。 在 校准 过 程 中 ,用户 要 注视 屏幕 上 8 个 预先 设 定 的 点 (=1，2，…，/) 。 文 中 
k 取 为 9。 在 校准 过 后 ,得 到 3 x3 的 旋转 矩阵 M。 一 旦 得 到 旋转 矩阵 M 的 值 ， 眼 睛 的 视 轴 
就 可 以 通过 光 轴 和 旋转 矩阵 MM 得到。 最 终 ， 注 视点 可 以 通过 估计 空间 视 轴 和 任意 物体 的 交 
叉 点 得 到 。 

图 8. 18 所 示 的 蓝 色 曲 线 为 本 节 所 述 方法 对 视线 的 跟踪 轨迹 ， 绿 色 曲 线 为 参考 文献 [3 ] 
中 二 维 映射 模型 视线 估计 方法 对 视线 的 跟踪 轨迹 ， 红 色 曲 线 为 参考 文献 [6] 中 直接 三 维 视线 
估计 方法 对 视线 的 跟踪 轨迹 。 图 中 横 轴 为 人 眼 与 标定 位 置 的 距离 ， 纵 轴 为 视线 估计 误差 。 由 
图 可 知 : 

1) 在 标定 位 置 几 种 算法 都 能 正确 估计 视线 。 

2) 随 着 使 用 者 头 部 远离 标定 位 






































10 
置 ， 参 考 文献 [3 ，6] 所 述 方法 虽 仍 | [—ÓRESBREXGR-—REGGERD) “… 参考 文献 [6] 
能 估计 视线 ， 但 结果 已 明显 不 再 准 。 MEME 。 所 述 方法 
确 。 而 基于 解析 头 动 补偿 的 视线 估 ”| 
计 方法 在 整个 头 部 运动 过 程 中 , 都 “~ H 
能 一 直 保 持 对 视线 的 稳定 估计 能 ux T gl 
Ji. 2A sr Pd 

3) 相对 于 参考 文献 [3] 中 二 维 要 和 过 

映射 模型 视线 估计 方法 和 参考 文献 ” 引 Fu Na a 
[6] 中 直接 三 维 视线 估计 方法 ， 基 于 imme 
头 动 补偿 的 视线 估计 方法 能 更 为 准 — PT 
确 和 稳定 地 跟踪 目标 。 其 跟踪 结果 0 


与 目标 真实 位 置 的 误差 最 小 ， 完 全 
能 满足 实时 视线 追踪 对 精度 要 求 。 
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人 眼 与 标定 位 置 距离 /mm 
图 8.18 视线 估计 结果 与 真实 视线 的 误差 
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图 8. 19 ”基于 视线 追踪 的 残疾 人 环境 控制 人 机 交互 系统 

3. 人 机 交互 系统 

基于 视线 追踪 的 残疾 人 环境 控制 人 机 交互 系统 如 图 8. 19 所 示 。 可 以 使 残疾 人 通过 视线 
追踪 系统 提供 的 交互 环境 得 到 更 加 丰富 的 服务 。 系 统 根据 主人 的 要 求 向 服务 器 发 出 指令 ,来 
控制 灯光 控制 器 、 电 视 机 、 空 调 器 、 热 水 器 、 电 饭 煲 、 录 像 机 等 家 电 设 备 的 电源 控制 系统 。 
基于 头 动 补偿 的 视线 估计 方法 应 用 于 该 系统 中 ， 实 验 结果 表明 交互 准确 率 在 95% 以 上 。 系 
统 主 要 实现 的 是 由 视线 落 点 控制 交互 屏 上 的 菜单 ， 使 用 者 的 视线 在 某 个 按钮 上 停留 2s 以 上 ， 
则 系统 将 弹出 确认 对 话 框 ， 再 通过 视线 确认 以 后 响应 对 应 事件 。 

系统 提供 一 系列 视线 控制 的 功能 ， 而 
从 文件 菜单 中 的 视线 控制 子 菜单 进入 
操作 界面 。 分 为 控制 选项 ， 服 务 选 项 ， 
监控 选项 ， 切 换 退 出 选项 。 

在 生理 学 和 心理 学 的 研究 中 ， 从 基 
础 的 视觉 生理 研究 到 关于 美学 的 视觉 探 
索 的 研究 都 离 不 开 视 线 追 踪 系 统 提 供 的 
原始 数据 支持 。 系 统 主要 实现 的 是 实时 
记录 使 用 者 在 使 用 计算 机 过 程 中 视线 的 
落 点 分 布 和 轨迹 。 记 录 使 用 者 注视 图 
片 、 视 频 、 网 页 或 者 文档 的 过 程 ， 用 带 
序号 的 注视 点 的 序列 ， 表 示 使 用 者 眼 动 
轨迹 、 注 视 次 数 、 注 视 时 间 等 数据 ， 如 














图 8. 20 和 图 8. 21 所 示 。 8. 20 图 片 注视 轨迹 
4. 与 其 他 系统 的 比较 
与 其 他 视线 追踪 系统 比较 结果 见 表 8. 5。 可 以 看 到 ， 基 于 头 动 补偿 的 视线 估计 方法 是 一 


种 单 摄像 机 单 光源 条 件 下 的 ， 只 需 单 点 用 户 标定 的 ， 可 以 允许 头 部 较 大 范围 运动 的 ， 高 性 价 
比 的 视线 追踪 解决 方案 。 
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图 8.21 ”视频 注视 轨迹 
表 8.5 与 其 他 系统 的 比较 



































方法 头 部 允许 运动 范围 (相机 光 轴 方向 ) 平均 精度 配置 标定 
参考 文献 [25] 70 mm 1.0° 多 摄像 机 多 光源 单 点 
参考 文献 [24] N/A, {EKF 70mm 0. 6"( 一 个 使 用 者 ) 四 摄像 机 多 光源 单 点 
参考 文献 [6] 200mm 1.6° 双 摄 像 机 双 光 源 单 点 
参考 文献 [3] 500mm 5^ 单 摄像 机 单 光源 多 点 
参考 文献 [29] 40mm 0.9° 单 摄像 机 双 光 源 多 点 
参考 文献 [30] 100mm 1.0° 单 摄像 机 四 光源 单 点 

本 节 400mm 1.5° 单 摄像 机 单 光源 单 点 




















ik: 1. 参考 文献 [29，30 ] 中 需要 另外 配置 立体 摄像 机 ， 用 来 标定 摄像 机 ， 光 源 和 屏幕 的 空间 三 维 位 置 。 
2. 本 节 方 法 在 头 部 运动 小 于 50mm 时 ， 平 均 精 度 在 1. 0 左右 。 
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8.2 双 摄 像 机 主动 红外 光源 系统 的 视线 方向 计算 模型 


8.2.1 基于 眼球 成 像 模型 的 视线 估计 方法 


1. 眼球 模型 

如 图 8. 22 所 示 ， 眼 球 是 由 大 小 不 同 的 前 后 两 个 球面 组 成 的 。 前 面 的 小 的 部 分 约 占 眼 球 
的 1/6， 为 透明 状 ， 曲 率 半 径 约 为 gmm。 后 面 较 大 的 部 分 约 占 眼球 的 S/6 ， 为 不 透明 状 ， 曲 
率 半径 约 为 12mm。 眼 球 的 前 极点 是 透明 部 分 (角膜 ) 的 曲率 中 心 极点 。 有 眼球 的 后 极点 是 不 透 
明 部 分 的 中 心 后 极点 ， 它 的 位 置 略 偏离 于 视觉 神经 位 置 ， 光 轴 就 由 这 两 个 点 定义 而 成 。 

定义 小 四 为 视网膜 中 心 ， 它 眼球 
是 视网膜 中 最 敏感 和 最 发 达 的 区 
域 。 因 为 小 凹 提供 了 最 明显 和 最 
详细 的 信息 ， 所 以 在 观察 物体 
时 ， 眼 球 不 停 地 旋转 以 保证 观察 
物 反 射 的 光线 能 够 落 入 这 个 区 
域 。 另 外 一 个 轴 叫 做 视 轴 ， 它 由 
通过 节点 0,%,。、 小 四 和 观察 物 
体 连 接 而 成 。 因 此 ， 视 轴 定 义 为 
用 户 的 视觉 注意 点 或 视线 方向 。 
因为 小 四 略 偏 离 眼 球 后 极点 ， 所 
以 视 轴 上 略 偏离 于 光 轴 。 光 轴 和 视 图 8.22 眼球 模型 
轴 在 节点 0 形成 的 夹 角 叫做 kappa， 两 只 眼睛 的 角 kappa 大 小 一 样 ， 约 为 5°。 

依据 上 面 的 眼球 结构 描述 可 以 知道 ， 眼 睛 的 瞳孔 3D 轴线 定义 为 瞳孔 中 心 P 和 和 角膜 曲率 
中 心 O0。 的 连 线 。 又 因为 瞳孔 轴线 是 估计 眼睛 光 轴 的 最 好 方式 ， 所 以 如 果 能 得 到 瞳孔 中 心 
和 角膜 中 心 的 三 维 位 置 ， 眼 睛 的 光 轴 就 可 以 估计 得 到 。 

2. 3D 角膜 反射 中 心 的 计算 

(1) 普尔 钦 斑 的 形成 S 

当 光 线 通 过 眼睛 时 ， 角 膜 表 面 会 成 摄像 机 
为 一 个 反射 表面 。 如 果 将 一 个 光源 放 在 
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眼睛 前 方 ， 那 么 该 光源 所 发 出 的 光线 在 Hm RN s 
角膜 的 外 表面 将 形成 一 个 反射 ， 在 图 像 \ Mu T». 

画面 里 的 眼睛 中 会 产生 一 个 非常 亮 的 点 ， dga T 摄像 机 
这 个 亮点 就 是 普尔 钦 班 。 它 是 眼睛 图 像 BRITTA 


中 最 容易 检测 和 追踪 到 的 亮点 。 

角膜 的 外 表面 可 以 假设 为 一 个 半径 
为 RR 的 是 透镜。 因此， 在 普尔 钦 斑 形成 
的 过 程 中 ,眼睛 的 角膜 扮演 了 凸透镜 的 
作用 。 图 8.23 中 定义 了 该 凸透镜 的 焦距 图 8.23 将 角膜 作为 球面 镜 时 点 光源 在 角膜 中 的 成 像 
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为 下 、 曲 率 中 心 为 0. 及 主轴 方向 。 在 硬件 系统 中 ， 使 用 红外 Led 作为 光源 。 当 红外 Led 
放 在 眼睛 前 方 时 ,会 在 角膜 表面 的 后 部 ， 沿 着 连接 角膜 中 心 和 光线 的 连 线 上 产生 一 个 红外 光 
源 虚 图 像 ， 如 图 8. 23 所 示 。 

如 图 8. 23 所 示 ， 光 源 的 虚 图 像 位 于 空间 中 的 多 个 光线 反射 后 延长 线 的 交叉 点 。 观 察 者 
从 任何 可 视角 度 都 可 以 看 到 以 一 个 反射 光 点 存在 的 虚 光 源 。 凸 透镜 的 反射 原理 显示 虚 光 源 的 
位 置 只 与 光源 的 实际 位 置 和 透镜 的 位 置 有 关 ， 与 观察 者 的 位 置 无 关 。 因 此 每 个 观察 者 不 论 在 
任何 位 置 都 可 以 看 到 同一 位 置 上 的 虚 图 像 。 这 样 ， 定 位 红外 光源 虚 图 像 的 位 置 就 是 定位 多 个 
光线 反射 后 延长 线 的 交叉 点 。 图 8. 23 所 示 为 几 条 光线 从 光源 发 出 后 到 达 角 膜 后 被 反射 的 过 
程 。 几 条 光线 延长 后 相交 于 角膜 后 的 一 点 ， 这 个 点 就 是 所 有 光线 延长 后 的 交点 ， 也 就 是 虚 图 
像 的 位 置 。 























图 像 平面 








普尔 钦 斑 


角膜 曲率 中 心 


*- 
Ocomea 
一 
一 
e 
Si 


主轴 





红外 光源 








图 8.24 ”红外 点 光源 在 角膜 前 的 虚 图 像 光线 图 

如 图 8. 24 所 示 ， 将 摄像 机 作为 观察 者 。 红 外 光源 在 角膜 上 产生 的 虚 图 像 被 摄像 机 捕捉 
后 就 是 所 谓 的 普尔 钦 班 。 如 果 把 两 台 摄 像 机 放 在 不 同 的 位 置 ， 每 台 摄像 机 都 会 捕捉 到 在 空间 
中 由 红外 光源 产生 的 同一 个 虚 图 像 。 因 此 基于 机 器 视觉 理论 ， 使 用 两 台 摄像 机 就 可 以 计算 出 
由 红外 光源 产生 的 虚 图 像 的 3D 位 置 。 

(2) 角膜 的 曲率 中 心 

针对 凸透镜 的 特性 ， 当 入 射 光线 延 Eih 
凸透镜 的 曲率 中 心 垂直 入射 时 ， 光 线 会 N00 im 人 
沿 和 人 射 路 线 反 射 回去 。 因 此 ， 如 果 光 线 UE 
LL 垂直 入 射 至 角膜 曲率 中 心 ， 就 会 沿 角膜 曲率 中 心 。 D2N 红外 光源 2 
原 路 线 返 回 ， 如 图 8. 25 所 示 。 同 样 ， 光 虚像 2 
源 虚 图 像 由 会 在 这 条 路 径 上 。 因 此 ， 光 
UR L,. EFE ER Li 和 角膜 曲率 中 心 Onea 
就 是 在 同一 条 直线 上 。 

进一步 地 说 ， 如 果 在 不 同 的 位 置 再 图 8.25 ”两 个 红外 光源 在 角膜 前 的 光线 图 
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放 一 个 光源 L,， 那 么 光源 L, 和 它 的 虚 图 像 及 角膜 曲率 中 心 0 就 是 在 另 一 直线 
LL OS Subs EE LL 0 uoma MER L Li O oma 会 交 于 0。 。 
如 上 所 述 ， 如 果 使 用 两 台 摄 像 机 组 成 立体 视觉 系统 ， 红 外 虚 图 像 L! 和 工 的 空间 位 置 就 
可 以 计算 得 到 。 而 红外 光源 L, 和 工 , 的 空间 位 置 可 以 通过 前 述 的 环境 标定 过 程 得 到 。 因 此 ， 
角膜 曲率 中 心 的 空间 位 置 0 可 以 通过 天 忆 和 万 已 计算 得 到 ， 公 式 如 下 : 
Dm Ws e 
O rins = L, F K, (L, 一 L;) 
当 使 用 更 多 光源 时 ， 可 以 得 到 一 系列 的 等 式 ， 这 样 可 以 在 定位 角膜 中 心 时 鲁 棒 性 更 好 。 
3. 空间 视线 方向 计算 
(1) 光 轴 估计 
如 上 所 述 ， 由 于 瞳孔 轴 非 常 近似 于 光 轴 。 因 此 ， 通 过 特征 提取 得 到 了 瞳孔 中 心 的 3D 空 
间 位 置 后 ， 有 眼睛 的 光 轴 V, 可 以 通过 连接 瞳孔 中 心 空间 位 置 P 和 角膜 曲率 中 心 0O.。 ,来 得 到 。 
内 =0 +k(P-0...) (8. 54) 
然而 ， 由 于 角膜 中 溶液 和 外 部 空气 的 折射 率 不 同 ， 光 线 在 眼球 表面 产生 了 折射 ， 如 图 
8.26 所 示 。 摄 像 机 中 观察 到 的 实际 上 是 瞳孔 的 虚 图 像 ， 而 不 是 真实 的 瞳孔 本 身 。 但 是 ， 因 
为 假定 瞳孔 轴 和 眼睛 的 光 轴 极其 近似 ， 所 以 瞳孔 中 心 位 于 光 轴 上 。 有 瞳孔 的 对 称 性 使 得 瞳孔 虚 
图 像 的 中 心 仍然 在 光 轴 上 ， 因 此 基于 球面 折射 原理 。 图 8. 26 所 示 的 两 条 折射 后 的 光线 ， 仍 
然 可 以 用 来 定位 虚 瞳 孔 的 中 心 ， 这 样 虚 瞳孔 中 心 P' 和 角膜 曲率 中 心 就 可 以 用 来 直接 估计 眼 
睛 的 光 轴 。 
同 理 ， 由 于 虚 瞳 孔 的 位 置 独 立 于 摄 
像 机 的 位 置 ， 所 以 在 给 定 的 两 幅 图 像 中 
有 同样 的 虚 瞳 孔 。 通 过 立体 视觉 空间 三 Ps 
角 测 量 就 可 以 估计 得 到 虚 瞳 孔 的 空间 位 — / 
置 。 由 于 眼球 中 央 小 止 在 捕获 的 眼睛 图 / 
像 中 不 可 见 ， 眼 睛 的 视 轴 也 不 能 直接 估 1 
计 出 来 ， 这 就 导致 注视 点 无 法 计算 。 但 、 
是 眼睛 视 轴 和 光 轴 的 偏差 角 kappa 对 每 N 








(8. 53) 
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Ocon nea 



































个 人 都 是 常数 。 角 kappa 可 以 通过 用 户 NG ". 
个 体 标定 得 到 。 Beno 

设 定 一 个 关于 眼球 的 三 维 空间 坐标 图 8. 26 ”在 角膜 和 空气 交界 面 发 生 折 射 的 
系统 ，Z 轴 是 眼球 的 主轴 , X 轴 是 平行 虚 瞳 孔 光 线 图 





于 三 维 空间 水 平面 的 轴 。 男 外 ， 在 头 部 的 左右 和 上 下 运动 中 ,眼睛 的 关 轴 会 始终 与 水 平面 
平行 。 在 头 部 的 旋转 运动 时 ， 眼 睛 会 不 自觉 地 沿 着 Z 轴 向 头 部 旋转 的 反方 向 进行 扭转 ， 这 
样 工 轴 仍 能 与 水 平面 平行 。 但 是 眼睛 只 能 扭转 很 小 的 角度 。 所 以 如 果 头 部 旋转 的 角度 太 大 ， 
眼睛 的 X 轴 就 不 能 与 水 平面 平行 。 

一 般 情况 下 ， 较 大 的 头 部 旋转 运动 很 少 发 生 。 因 此 在 眼 部 运动 中 ， 可 以 认为 眼睛 的 
轴 会 一 直 和 水 平面 平行 。 这 样 如 果 偏 差 角 kappa 已 知 ， 那 么 视 轴 可 以 从 估计 的 光 轴 中 解 出 。 

4. 用 户 标 定 ( 偏离 角 kappa 估计 ) 

用 户 标定 的 作用 是 对 视 轴 和 光 轴 偏差 角 进 行 补偿 。 当 用 户 注视 屏幕 的 已 知 点 S 时 ， 这 个 
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点 的 空间 坐标 可 以 通过 屏幕 标定 和 坐标 系 转换 得 到 。 同 理 ， 角 膜 曲率 中 心 0 坐标 、 虚 瞳 
孔 中 心 坐 标 已 同样 可 以 通过 上 述 方法 得 到 。 因 此 ， 视 轴 方 向 六 和 光 轴 方向 屎 可 以 通过 下 式 
得 到 : 





lS = Os || (8.55) 
zo (Pe. 
y que 
男 外 ， 视 轴 和 光 轴 的 关系 可 表示 为 
y, - MV, (8.56) 


这 里 M 是 3 x3 旋转 矩阵 , 它 代表 了 视 轴 六 和 光 轴 六 之 间 的 偏差 关系 。 求 得 旋转 矩阵 
M 的 值 后， 那么 任意 视 轴 的 空间 位 置 就 可 以 通过 检测 到 的 相关 光 轴 位 置 计算 得 到 。 因 此 ， 
不 用 直接 估计 光 轴 和 视 轴 偏差 角 kappa， 通 过 标定 旋转 矩阵 M 就 可 以 间接 地 求 得 光 轴 和 视 轴 
之 间 的 关系 。 

旋转 矩阵 M 可 以 通过 一 个 简单 的 标定 程序 得 到 。 在 用 户 标定 过 程 中 ， 用 户 注视 屏幕 上 
下 个 预先 设 定 的 点 S(i =1，2，…, 上 ) ， 一 般 怀 为 9。 标 定 后 可 以 通过 式 (8. 55 ) 得 到 一 系列 
矢量 六 入 。 由 于 旋转 矩阵 M 是 标准 正 交 的 矩阵 ， 所 以 公式 可 变 为 

P=M (8.57) 

因此 ， 通 过 式 (8. 56) 和 式 (8.57) ， 一 对 矢量 六 和 矿 就 可 以 得 到 6 个 线性 公式 ， 那 么 
2 个 屏幕 点 就 足以 估计 3 x3 的 旋转 矩阵 M 了。 如 选择 2 个 以 上 标定 点 ， 如 上 述 的 9 个 标定 
点 ， 则 可 以 通过 最 小 二 乘法 求解 矩阵 M, 

求 得 旋转 矩阵 M， 眼 睛 的 视 轴 就 可 以 通过 式 (8. 56) 和 光 轴 六 得 到 。 最 终 不 同 头 部 姿态 
下 精确 的 注视 点 可 以 通过 估计 空间 视 轴 和 注视 物体 的 交叉 点 检测 得 到 。 


8.2.2 视线 方向 估计 的 five-spot 模型 


在 现 有 的 三 维 视线 估计 方法 中 ， 要 么 需要 关于 用 户 眼球 参数 的 独立 信息 ， 要 么 需要 至 少 
两 台 摄 像 机 和 两 个 光源 的 硬件 配置 ， 否 则 就 不 能 解决 头 动 问题 。 但 是 由 于 使 用 者 眼球 的 独立 
言 息 的 限制 ， 如 角膜 半径 和 瞳孔 与 角膜 中 心 的 距离 非常 小 (一 般 小 于 10mm) ， 因 此 在 不 借助 
其 他 仪器 的 情况 下 ， 准 确 地 间接 估计 眼球 独立 参数 是 很 难 实现 的 。 即 使 采用 一 台 摄 像 机 和 两 
个 光源 配 以 使 用 者 眼睛 独立 参数 的 方案 ， 在 系统 标定 过 程 中 也 要 使 用 至 少 两 台 摄 像 机 。 此 
外 ， 因 为 需要 估计 角膜 球面 中 心 的 空间 位 置 ， 而 角膜 球面 中 心 不 可 见 ， 需 要 至 少 两 个 光源 的 
像 去 佑 计 角 膜 球 面 中 心 的 空间 位 置 。 所 以 两 台 摄 像 机 和 两 个 光源 是 高 性 能 视线 佑 计 的 基本 硬 
件 配置 。 

five-spot 模型 建立 了 一 种 双 摄 像 机 双 光 源 条 件 下 眼球 光 轴 的 计算 方法 。 该 模型 估计 眼球 
光 轴 三 维 方 向 只 需要 一 次 直线 求 交 运算 ， 以 此 为 基础 形成 一 种 新 的 视线 估计 方法 。 该 方法 实 
现 了 自然 头 动 视线 估计 ， 并 且 将 用 户 标 定 简化 为 单 点 标定 。 基 于 five-spot 模型 的 视线 估计 方 





























法 ,包括 眼球 光 轴 与 视线 佑 计 和 用 户 标 定 。 这 种 模型 所 适用 的 视线 追踪 系统 为 双 摄 像 机 双 光 
源 视线 追踪 系统 。 


1. 眼球 光 轴 与 视线 估计 
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如 图 8.27 所 示 ， 根 据 球面 反射 成 像 原 理 ， 光 源 C,. C, 经 角膜 球面 反射 所 成 的 像 Pi、 
P, 在 光源 与 角膜 球面 中 心 0 的 连 线 上 。 也 就 是 说 ， 在 角膜 球面 未 知 的 情况 下 ， 可 以 由 直线 
C,P, 与 C,P, 的 交点 来 确定 中 心 0 的 位 置 。 另 一 方面 ， 根 据 球面 折射 成 像 原理 ， 瞳 和 孔 与 经 角 
膜 球面 折射 所 成 的 像 在 同一 半径 方向 上 ， 即 瞳孔 中 心 BP 与 瞳孔 中 心虚 像 Py 都 在 眼球 光 轴 
上 。 所 以 在 瞳孔 中 心 P' 未 知 的 情况 下 ， 可 以 用 瞳孔 中 心虚 像 P, TUER 已 估计 眼球 光 轴 。 

球面 中 心 0 与 瞳孔 中 心虚 像 P, 的 角膜 球面 
连 线 即 为 光 轴 方向 ， 若 已 知 Ci、C,、 
Pi, Pa, P 五 个 空间 点 ， 只 需要 一 次 
直线 求 交 运算 就 可 以 得 到 眼球 光 轴 方 ， 
I], Ci, C, 的 三 维 坐标 由 系统 标定 得 1 O 一 角膜 球面 中 心 
8). Pi, P, P, 的 三 维 坐标 由 三 维特 
征 提 取得 到 。 得 到 眼球 光 轴 方向 以 后 ， 
根据 用 户 标定 结果 ， 利 用 光 轴 和 补偿 角 
得 到 视线 方向 。 具 体 步 又 如 下 : 

1) 光源 C,. C, 及 其 虚像 Pi, P, 图 8. 27 five-spot 模型 
形成 两 条 直线 一 一 C,P CGP, WRX 
两 条 直线 相交 ， 那 么 交点 0 就 是 角膜 球面 中 心 。 如 果 两 条 直线 异 面 (由 于 误差 不 完全 相交 ) ， 
那么 求 出 公 垂 线 ， 公 垂 线 的 中 点 0 就 是 角膜 球面 中 心 。 具 体 方法 是 先 将 C,P 和 C,P, 写成 
两 点 式 ， 即 





























X= C.X — €, Z—C,.z 
D ME Mi MN E" ed (8. 58) 
C,.X — p,.X Cy — Dy. C,.2 — p,.4 
x =c, X y= Y z= 0 X 
2 = Tr 2g, (8.59) 


CX = Pa%  C,Y =P Y 0,2 —p,2 








为 了 简化 ， 设 
cx = pix = Á, &.y -py = Bi, &.z -piz = C 
C, % = P,.% x A, C.Y = P.Y z B,, €, = P.Z = C; 








则 
X—-c.X y-c.y 5 一 cl.z 
= = zd 8. 60 
A, B, C 1 ( ) 
NX-—C NX yy. ZX-u5 
= = = . 61 
A; B, C, tz (8 6 ) 
X,-06,.X * At, X» =c, X +A,t, 
' ` 3 zi e 
设 公 垂 线 与 两 直线 的 交点 M, 和 M, 22 =c. y +Bit My, =c y * Bt, WM, M, 
1=C1.2+ Ct z, 26, Z + Ct, 
为 


2 


x =c xX- C, X * Á,t, — At 
Y= CY Cy F B,t, - B,t, 


z = cZ -cZ + Ct -Ct 
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因为 MM, LC,P, dl Mj;M, LC,P,, 有 (x, y, z) - (A, Bi, Ci) =0 和 (x, y, z) * (A, 
B,, C) -0, Bi 
(A,A, + B,B, + C,C)t, - (AM + Bi + CD 
+ Al(c,.% — cI.X) 十 B, (cy 一 ci.y) + C, Ce, s -cl.z) =0 (8.62) 
(A} B) + C2)t, - (A,A, + B,B, + C,C,)1, 
+4 (c, x = cx) + BCe y= e.y) + (06,2 dua) =0 
HEF, n, WMM M, 可 求 。 中 点 为 
xp = (x, + x4)72 





ye = (n +y)/2 
Za = (z; +2z,)/2 
2) 连接 角膜 球面 中 心 O0 和 瞳孔 中 心虚 像 P ， 直 线 OP, 就 是 眼球 光 轴 。 
3) 根据 用 户 标定 结果 ， 利 用 光 轴 OP, 和 补偿 角 a、B 得 到 视线 方向 OP。 
4) 计算 视 轴 与 屏幕 交点 ， 即 为 视线 注视 点 。 具 体 方法 如 下 : 已 知 视线 方向 直线 OP 和 
平面 方程 4,x+ Biy+Ciz+D, 20, OP 写成 两 点 式 
0 (8.63) 
p.x-0.x p.y-o.y p.z-o.z 
i p.x-o.x-L,,p.y-o.y-L,, p.z-o.z-L,, M 











X—0,.X y-o.y z-o.z 


L. L, L, =ł (8. 64) 
x,-o.x-lt 
ete =0.y+L,t， 因 为 交点 M 在 平面 上 ， 所 以 符合 平面 方程 ， 代 入 
:=0,.2+L1 
平面 方程 ， 有 
A,(o. x * L,t) +B (o0o.y+Lt)+C(o.z+Lt)+D =0 (8. 65) 
解 得 
Ne (A,o0. x * Bio, y * Cio. z * Di) 


Aly Bib, + Cila (8:08) 





t 


那么 交点 M 可 求 。 

2. 用 户 标定 

由 于 视网膜 中 心 ( 即 Fovea) 不 完全 在 眼球 几何 轴线 上 ， 所 以 视线 方向 与 眼球 光 轴 存在 一 
定 的 夹 角 ( 角 kappa) 。 视 线 方向 与 眼球 光 轴 在 水 平方 向 夹 角 大 约 为 $"( 左 眼 为 $"， 右 眼 为 
-59), ， 竖 直方 向 夹 角 大 约 为 1.$"。 不 同 使 用 者 之 间 最 大 存在 3° 的 差异 。 使 用 者 第 一 次 使 用 
时 需要 标定 其 角 kappa， 上 有 具体 步骤 如 下 : 

1) 使 用 者 注视 屏幕 上 固定 点 P. ， 同 时 根据 上 一 过 程 计 算出 光 轴 方向 0P,。 

2) 连接 眼球 中 心 0 和 固定 点 P. ， 得 出 视线 方向 OP,。 

3) 分 别 求 出 视线 和 光 轴 两 直线 的 方位 角 a, . o, Me B, (al os 角 为 轴线 与 X-Z 平 
面 的 夹 角 ，B, 、B, 角 为 轴线 在 对 -Z 平 面 投影 与 -2Z 轴 的 夹 角 )， 那 么 差 角 a=a -a, B= 
B, -B,， 就 可 以 作为 视线 和 光 轴 的 补偿 ， 如 图 8. 28 所 示 。 
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3. 实验 结果 

(1) 不 同 使 用 者 的 视线 估计 结果 

在 双 摄 像 机 双 光 源 视线 追踪 系统 中 ， 
对 不 同 使 用 者 的 视线 估计 效果 进行 了 测试 ， 
测试 过 程 中 系统 将 实时 记录 下 所 有 视线 信 
息 ， 并 计算 出 在 分 别 注视 每 个 目标 对 象 的 
一 定时 长 内 所 有 落 点 的 误差 均值 。 

对 数据 进行 离线 处 理 ， 得 到 7 位 使 用 图 8.28 视线 与 光 轴 来 角 
者 在 儿 个 位 置 上 对 注视 屏幕 上 所 有 对 象 的 追踪 精度 平均 水 平 ( 见 表 8. 6) ， 水 平方 向 平均 精度 
为 1.0° 左 右 ， 坚 直方 向 平均 精度 为 1.2° 左 右 。 为 了 更 形象 地 反映 表 8.6 中 数据 的 含义 ， 图 
8. 29 所 示 为 使 用 者 1 的 视线 估计 和 角度 误差 分 布 情况 ， 图 8. 30 所 示 为 使 用 者 3 的 估计 视线 与 
真实 视线 的 比较 。 




















表 8.6 不 同 使 用 者 的 视线 估计 结果 




































































使 用 者 水 平方 向 精度 A/mm, o7 (?) 竖 直 方向 精度 A/mm,，o/(?) 
1 0. 86 +0. 34 1. 02 +0. 62 
2 1. 12 +0. 23 1.34 +0. 58 
3 0.93 +0. 31 1.22 +0.45 
4 0.81 +0.26 1. 18 +0. 33 
5 0. 82 +0. 30 1.42 +0.31 
6 0. 98 +0. 56 1. 08 +0. 64 
7 1. 23 +0. 43 1. 05 +0. 43 








视线 估计 角度 误差 /() 














ZI 8.29 使 用 者 1 的 视线 估计 角度 误差 分 布 
(2) 与 其 他 视线 估计 方法 的 比较 
对 几 种 视线 估计 方法 进行 了 对 比 。 图 8. 31 给 出 使 用 者 视线 估计 结果 与 真实 视线 的 角度 


误差 。 
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图 8.31 视线 估计 结果 与 真实 视线 的 角度 误差 
参考 文献 [7] 描 述 了 一 种 典型 的 二 维 映射 模型 视线 估计 方法 。 为 了 估计 眼睛 的 注视 点 ， 
必须 从 图 像 序 列 得 到 5 个 角膜 反射 和 瞳孔 中 心 。 首 先 检测 角膜 反射 ， 第 一 步 是 输入 暗 瞳 图 像 


得 二 


的 国 值 以 获 





射 点 ; 第 三 步 是 计算 各 个 区 域 的 中 心 位 置 。 


a 


然后 是 瞳孔 中 心 检测 UfRLA 


F1 


EI 


1 法 确定 瞳孔 中 心 区 域 。 由 于 不 适当 的 靖 值 和 噪声 


值 图 像 ; 第 二 步 是 对 二 值 图 像 进行 二 值 化 ， 在 二 值 图 像 中 有 4 个 红外 角膜 反 


， 瞳 妃 


边界 区 域 有 时 不 清楚 ， 无 法 用 质心 法 准确 检测 瞳孔 中 心 。 为 了 降低 噪声 的 影响 ， 考 虑 到 瞳孔 


局 RA 





边界 近似 于 椭圆 ， 用 椭圆 拟 合 可 以 ; 


ERR; 第 二 步 是 通过 靖 值 对 图 像 进行 差分 ， 由 此 产生 的 图 像 是 一 个 二 值 图 


响 ， 提 高 检测 精度 。 第 一 步 是 分 别 获 
像 


成 少 噪声 影 





确定 瞳孔 区 域 的 边缘 ; 第 四 步 是 直接 用 椭圆 拟 合算 法 计算 瞳孔 中 心 位 置 。 
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参考 文献 [ 9] 描述 了 一 种 典型 的 直接 三 维 视线 估计 方法 。 这 是 一 种 完全 依靠 空间 几何 计 
算 实 现 用 户 视 线 落 点 运算 的 方法 。 其 主要 思路 是 通过 计算 用 户 真实 的 空间 视线 方向 与 屏幕 的 
交点 来 确定 瞳孔 中 心 。 通 过 双 目 视觉 定位 原理 测定 在 眼睛 中 产生 的 普尔 钦 斑 的 空间 坐标 。 由 
于 将 角膜 看 做 了 一 个 凸 镜 ， 所 以 根据 凸 镜 原 理 就 可 以 测定 由 多 光源 形成 的 多 普尔 钦 斑 在 角膜 
中 的 位 置 ， 进 而 可 以 通过 普尔 钦 斑 和 光源 连 线 的 交点 确定 角膜 曲率 的 中 心 。 由 于 角膜 曲率 中 
心 和 瞳孔 中 心 在 同 光 轴 上 ， 所 以 可 以 通过 双 目 视觉 测定 瞳孔 中 心 后 ， 得 到 光 轴 的 空间 方向 。 
根据 眼球 构造 原理 ， 人 类 的 视觉 是 由 视 轴 决定 的 ， 而 光 轴 和 视 轴 间 存在 一 个 与 个 人 特征 无 关 
的 固定 偏差 角 kappa， 通 过 偏差 角 就 很 容易 求 得 视 轴 方向 。 偏 差 角 kappa 可 以 通过 一 个 简单 
的 校准 得 到 。 在 校准 过 程 中 ， 用 户 要 注视 屏幕 上 个 预先 设 定 的 点 (1 =1，2，…，8) ， 这 里 
上 为 9。 在 校准 过 后 ， 得 到 3 x3 的 旋转 矩阵 MM。 一 旦 得 到 旋转 矩阵 家， 眼睛 的 视 轴 就 可 以 通 
过 光 轴 和 旋转 矩阵 M 得到。 最 终 ， 注 视点 可 以 通过 估计 空间 视 轴 和 任意 物体 的 交叉 点 得 到 。 

图 中 蓝 色 曲线 ( 即 细 实 线 ) 为 本 节 所 述 方法 对 视线 的 跟踪 轨迹 ， 绿 色 曲 线 ( 即 线 虚 线 ) 为 
参考 文献 [7] 中 二 维 映射 模型 视线 估计 方法 对 视线 的 跟踪 轨迹 ， 红 色 曲 线 ( 即 点 虚线 ) 为 参考 
文献 [9] 中 直接 三 维 视线 估计 方法 对 视线 的 跟踪 轨迹 。 图 中 横 轴 为 人 眼 与 标定 位 置 的 距离 ， 
纵 轴 为 视线 估计 角度 误差 。 由 图 8. 31 nA: 

1) 在 标定 位 置 几 种 算法 都 能 正确 估计 视线 。 

2) 随 着 使 用 者 头 部 远离 标定 位 置 ， 参 考 文献 [7、9] 所 述 方法 虽 仍 能 估计 视线 ， 但 结 
已 明显 不 再 准确 。 而 five-spot 模型 在 整个 头 部 运动 过 程 中 ， 都 能 一 直 保持 对 视线 的 稳定 估计 
能 力 。 

3) 相对 于 参考 文献 [7] 中 二 维 映射 模型 视线 估计 方法 和 参考 文献 [9] 中 直接 三 维 视线 佑 
计 方 法 ，five-spot 模型 能 更 为 准确 和 稳定 地 估计 视线 。 其 估计 结果 与 真实 视线 的 误差 最 小 ， 
完全 能 满足 实时 视线 追踪 对 精度 的 要 求 。 









































8.3 本章 小 结 


基于 视频 分 析 的 视线 追踪 系统 ， 根 据 系统 构成 不 同 其 视线 方向 检测 的 原理 也 不 同 ， 也 就 
是 说 其 视线 方向 计算 模型 也 不 同 。 单 摄像 机 系统 主要 通过 视线 参数 和 视线 屏幕 落 点 之 间 的 映 
射 模型 计算 视线 落 点 。 多 摄像 机 系统 一 般 根据 眼球 的 成 像 模型 和 系统 结构 构造 空间 几何 模型 
来 计算 视线 方向 。 因 此 本 章 内 容 分 为 两 部 分 ， 分 别 介绍 了 单 摄像 机 系统 的 视线 映射 模型 和 双 
摄像 机 系统 的 几何 模型 。 在 8. 1 节 中 介绍 了 单 摄像 机 主动 红外 光源 系统 的 基于 非 线性 多 项 式 
和 统计 方法 的 映射 模型 和 基于 解析 头 动 补 偿 的 视线 佑 计 方法 。 在 8.2 节 中 首先 介绍 了 国外 研 
究 人 员 提 出 的 一 种 视线 估计 模 型 : 基于 头 动 补偿 的 视线 估计 方法 和 基于 眼球 成 像 模 型 的 视线 
估计 方法 。 接 下 来 重点 介绍 了 基于 双 摄 像 机 双 光 源 系统 的 five-spot 点 视线 估计 模型 。 基 于 解 
析 头 动 补偿 的 视线 估计 方法 主要 针对 单 摄像 机 双环 形 光源 系统 限制 使 用 者 头 部 运动 和 个 体 标 
定 问题 而 提出 的 。 该 方法 实现 了 头 部 位 置 变化 对 瞳孔 角膜 矢量 影响 的 解析 补偿 ， 并 建立 一 种 
个 体 差异 的 转化 模型 ， 进 而 将 标定 过 程 简 化 为 单 点 标定 。 以 此 为 基础 形成 的 视线 估计 方法 ， 
使 精确 视线 估计 的 最 小 硬件 要 求 降低 到 单 摄像 机 (未 标定 ) 单 光源 ， 既 不 需要 繁杂 的 系统 标 
定 ， 又 实现 了 自然 头 动 视 线 佑 计 ， 为 面向 人 机 交互 的 视线 追踪 系统 提供 了 有 效 的 解决 方案 。 
five-spot 模型 适用 于 双 摄像 机 立体 视觉 视线 追踪 系统 ， 该 模型 估计 眼球 光 轴 三 维 方向 只 需 一 
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次 直线 求 交 运算 。 与 目前 存在 的 多 数 几 何 模 型 相 比 较 ， 在 相对 简便 的 运算 条 件 下 ， 实 现 了 自 
然 头 动 下 的 视线 估计 ， 并 且 简 化 用 户 标定 为 单 点 标定 。 该 方法 各 环节 均 满足 实时 性 要 求 。 
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459 — 视线 追踪 技术 应 用 


早期 的 视线 追踪 技术 在 疾病 诊断 和 心理 研究 方面 的 应 用 比较 广泛 ， 后 来 扩展 到 其 他 领 
域 ， 如 图 像 压缩 技术 和 新 型 人 机 交互 等 。 近 年 来 ， 视 线 追 踪 技 术 的 研究 受到 国内 外 相关 研究 
人 员 的 普遍 关注 。 国 外 出 现 了 一 些 基于 视线 追踪 技术 的 实际 应 用 系统 和 产品 ， 如 眼 控 打 字 系 
统 、 视 线 辅助 绘图 系统 等 。 尤 其 在 一 些 发 达 国 家 ,视线 追踪 相关 技术 已 经 日 趋 成 熟 。 我 国 在 
这 一 领域 的 起 步 较 晚 ， 视 线 追 踪 技 术 的 研究 和 相关 眼 探 产品 的 研究 与 开发 正 逐 步 展开 。 不 久 
的 将 来 ， 市 场 中 可 能 会 出 现 面向 助 老 助 残 的 由 视线 通道 和 话音 通道 联合 控制 的 数字 家 居 人 机 
交互 系统 ， 以 方便 残疾 人 士 或 老人 在 日 常生 活 中 对 家 电 设 备 进行 控制 或 获取 各 种 信息 。 利 用 
视线 追踪 技术 ， 人 与 机 器 人 或 虚拟 人 的 交互 也 将 更 加 自然 和 便捷 。 通 过 检测 视线 方向 、 是 眼 
频率 和 瞳孔 大 小 变化 ， 未 来 的 汽车 也 会 “观察 和 监测 ”驾驶 员 的 四 驶 状态 和 驾驶 行为 ， 识 
别 驾 驶 员 是 否 处 于 驾驶 疲劳 等 状态 ， 进 而 警示 驾驶 员 采 取 相 应 的 措施 避免 交通 事故 2 。 利 
用 对 人 视线 特征 的 检测 ， 还 可 以 帮助 医生 有 效 诊 断 认 知 疾病 障碍 或 帮助 警察 进行 刑事 测 谎 。 
利用 视线 追踪 技术 ， 还 可 以 从 用 户 注视 信息 推 新 人们 感 兴趣 或 引起 注意 的 内 容 ， 用 来 了 解 用 
户 的 状态 、 意 图 、 认 知 负荷 、 紧 张 程度 ， 并 自动 调整 对 用 户 的 反应 。 

大 量 研 究 和 实验 表明 ， 在 虚拟 环境 中 利用 视线 进行 人 机 交互 比 指点 式 交互 效率 更 高 ， 尤 
其 在 远 距离 操作 情况 下 视线 交互 的 优势 更 加 明显 。 在 与 虚拟 环境 的 交互 实验 中 ， 用 户 可 
以 通过 视线 扫 视 和 采 视 及 语音 完成 与 虚拟 人 的 交流 ， 这 一 过 程 更 加 贴近 于 自然 人 的 交流 。 整 
个 过 程 中 ， 虚 拟人 可 以 通过 视线 追踪 技术 了 解 用 户 的 意图 并 做 出 相应 的 反应 。 在 虚拟 现实 领 
域 ， 增 强 现实 系统 可 以 根据 用 户 当 前 注视 状态 ， 向 用 户 提供 相应 注视 方位 的 场景 信息 ， 或 展 
示 注 视点 的 详细 信息 。 这 样 用 户 可 以 在 不 同方 位 看 到 不 同 的 场景 ， 或 者 获取 关注 点 的 信息 ， 
达到 身 临 其 境 的 沉浸 效果 。 在 机 器 人 上 安装 主动 视线 追踪 设备 ， 可 以 方便 机 器 人 捕捉 操作 者 
所 感 兴趣 的 事物 ， 之 后 执行 一 系列 的 命令 。 

多 通道 交互 是 人 机 交互 的 研究 热点 ， 而 视线 交互 技术 作为 一 种 新 型 的 交互 手段 可 以 和 其 
他 人 机 交互 技术 相 结 合 ， 形 成 更 贴近 人 类 自然 交流 的 人 机 交互 系统 。 实 现 设 备 的 智能 化 ， 使 
其 更 好 地 了 人 解 用 户 的 意图 ， 实 现 与 用 户 之 间 自 然 便 捷 的 交流 。 视 线 追 踪 技 术 在 人 因 分 析 中 还 
有 广泛 的 应 用 ， 如 网 页 的 可 用 性 研究 。 

综 上 所 述 ， 视 线 跟踪 技术 的 应 用 可 以 大 臻 归纳 为 以 下 几 点 。 

1. 人 机 交互 

(1) 助 老 助 残 

将 视线 追踪 技术 与 语音 识别 等 技术 综合 形成 多 通道 技术 运用 到 一 些 特殊 的 交互 设备 当 
中 ， 使 行动 不 方便 的 老年 人 和 残疾 人 可 以 通过 视线 的 扫 视 和 采 视 或 语音 信息 完成 与 计算 机 的 
交互 。 从 而 达到 利用 计算 机 进行 信息 搜索 和 家 居 环 境 控 制 的 作用 。 

(2) 公共 设施 中 的 数字 信息 服务 

如 路 边 的 数字 信息 亭 ， 它 为 公众 提供 电子 地 图 查询 和 公交 路 线 查 询 等 服务 ; 博物馆 中 的 
各 种 展示 介绍 ; 饭店 中 的 各 种 服务 查询 等 ， 都 可 以 通过 视线 来 方便 地 达到 搜索 目的 。 
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(3) 虚拟 环境 中 的 交互 

在 虚拟 环境 中 ， 用 视线 等 更 自然 的 方式 实现 和 虚拟 人 或 界面 的 交互 ， 可 以 增强 用 户 的 沉 
浸 感 和 和 舒适 感 。 

2. 疾病 诊断 

视线 追踪 技术 的 早期 应 用 就 是 有 关 认 知 障碍 疾病 的 诊断 ， 通 过 分 析 受 试 者 的 眼 动 信息 来 
判断 是 否 有 某 些 疾病 的 征兆 。 也 有 研究 人 员 将 视线 追踪 技术 用 于 刑事 测 谎 和 甄别 吸毒 人 员 。 

3. 工业 工程 与 人 因 分 析 

在 汽车 、 飞 机 等 交通 工具 中 肯 人 视线 追踪 技术 ， 可 以 起 到 辅助 驾驶 、 降 低 意 外 事故 发 生 
率 等 作用 。 在 一 些 产品 设计 和 建造 过 程 中 ， 可 以 通过 视线 追踪 技术 了 解 用 户 的 动作 习惯 、 技 
能 特征 参数 ， 分 析 人 在 工作 劳动 时 生理 变化 、 能 量 消耗 、 疲 劳 机 理 和 对 劳动 负 衔 的 适应 能 
力 ， 为 实现 产品 的 高 效率 和 人 性 化 设计 提供 依据 。 

4. 心理 学 与 生理 学 研究 

心理 学 和 生理 学 检测 是 视线 追踪 系统 最 早 的 应 用 之 一 。 早 在 19 世纪 就 有 人 通过 考察 人 
的 眼球 运动 来 研究 人 的 心理 活动 。 通 过 分 析 和 记录 人 的 眼 动 数据 ， 如 眼 动 轨迹 、 眼 跳 、 瞳 孔 
大 小 、 时 间 等 参数 ， 来 研究 人 的 心理 活动 ， 揭 示 认 知 加 工 的 心理 机 制 。 例 如 ， 阅 读 速度 与 阅 
读 质 量 一 直 是 学 生 比 较 关 注 的 学 习 问 题 ， 测 量 眼 动能 反映 和 揭示 阅读 的 内 部 过 程 和 规律 。 在 
阅读 过 程 中 ,视线 追 踊 技 术 可 以 将 眼球 的 即时 数据 记录 下 来 ,反映 读者 真实 的 阅读 加 工 过 
程 。 通 过 注视 次 数 、 注 视频 率 、 注 视点 持续 时 间 等 数据 ， 可 以 判断 阅读 的 效果 和 阅读 过 程 中 
出 现 的 问题 。 

















9.1 计算 机 领域 


随 着 计算 机 技术 的 发 展 ， 各 类 新 型 人 机 交互 方法 受到 相关 研究 人 员 的 广泛 关注 。 人 机 交 
互 方式 越 来 越 多 样 化 ， 也 越 贴近 人 类 的 自然 交流 ， 使 用 户 摆脱 计算 机 的 约束 并 以 类 似 人 与 人 
之 间 的 交流 方式 和 计算 机 进行 交流 。 

在 众多 的 新 兴 人 机 交互 技术 中 ， 视 线 追踪 系统 的 研究 受到 长 期 的 重视 。 使 视线 追踪 系统 
的 相关 技术 快速 发 展 并 走向 市 场 。 在 这 一 过 程 中 ， 人 们 越 来 越 关 注视 线 追 踪 技 术 在 计算 机 科 
学 领域 的 可 用 性 研究 。 

视线 追踪 系统 是 一 种 由 人 有 眼 动作 或 视线 来 操作 计算 机 的 人 机 交互 平台 。 下 面 主要 介绍 两 种 
类 型 的 视线 应 用 系统 。 一 种 是 选择 性 视线 系统 ， 其 中 视线 追踪 器 是 输入 设备 ， 由 用 户 的 视线 来 
代替 手动 鼠标 控制 屏幕 中 的 指针 移动 及 目标 选择 。 这 类 眼 动 系统 是 人 机 交互 (HIC) RAS A 
计算 机 支持 协同 工作 (Computer Supported Cooperative Work, CSCW) 系统 的 关注 热点 。 男 一 
种 是 注视 跟随 系统 ， 在 这 种 系统 中 呈现 在 受 试 者 面前 的 信息 用 以 反馈 视觉 系统 的 处 理 能 
9.1.1 选择 性 眼 动 系统 

1. 人 机 交互 系统 

顾名思义 ,视线 交互 是 由 视线 来 完成 用 户 与 计算 机 之 间 的 交流 。 用 户 的 视线 可 代替 手动 
鼠标 的 作用 ， 其 指针 的 动作 方式 与 手动 鼠标 完全 一 致 。 用 户 视 线 指向 屏幕 上 的 落 点 就 是 指针 
的 位 置 ， 通 过 视线 移动 来 控制 指针 的 移动 。 同 时 视线 也 可 以 对 屏幕 上 可 操作 的 按钮 或 目标 进 
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行 选 择 。 例 如 ， 目 光 停 留 一 段 时 间 以 上 的 落 点 即 为 用 户 所 选择 的 目标 。 用 户 可 以 用 视线 选择 
寺 定 的 按钮 ， 如 菜单 选项 中 的 各 种 命令 按钮 来 操纵 计算 机 达到 自己 的 目的 。 例 如 ， 面 向 残疾 
人 的 眼 动 打 字 系 统 ， 可 以 不 用 点 击 鼠 标 或 敲 击 键盘 就 可 以 达到 输入 文本 的 目的 ， 使 不 方便 使 
用 键盘 和 手 控 鼠 标的 用 户 也 能 便捷 地 使 用 计算 机 。 

在 人 机 交互 领域 中 视线 作为 一 种 间接 指示 通道 还 有 其 他 作用 "1 。 例 如 ， 在 协作 系统 背 
景 中 作为 指示 参考 ,或 者 人 机 交互 界面 中 的 间接 指示 辅助 设备 。 

视线 交互 系统 中 比较 常见 的 问题 是 “Midas” 接 触 问题 。 即 由 于 眼球 颜 动 造成 的 不 确定 
性 所 引起 的 系统 误 动 作 问题 。 例 如 ， 用 户 浏览 网 页 时 ， 可 能 只 是 在 粗略 浏览 网 页 上 的 各 个 条 
目 而 并 没有 特定 的 选择 目标 ， 但 是 视线 所 碰 触 的 一 些 条 目 却 会 被 触发 而 弹出 相应 的 子 项 ， 这 
是 用 户 所 不 希望 出 现 的 情况 。 关 于 “Midas” 接触 问题 ， 目 前 常见 的 解决 方法 是 滤波 。 即 规 
定 一 定 的 时 间 上 限 ， 当 用 户 果 视界 面 中 某 一 条 目 时间 超 过 这 个 上 限时 ， 就 视 为 用 户 发 出 打开 
此 条 目的 命令 ， 系 统 执行 相应 的 操作 ， 否 则 保持 原状 。 

2. 助 老 助 残 

如 视线 打字 系统 ， 其 专门 为 行动 不 方便 的 老年 人 和 残疾 人 用 户 设计 ， 也 可 同时 配 有 语音 
识别 和 语音 合成 技术 ,计算 机 能 “看 ”能 “ 听 ” 也 能 “说 ”。 视 线 打字 系统 的 交互 界面 上 设 
有 虚拟 键盘 ， 用 户 视 线 可 以 通过 采 视 虚拟 键盘 中 的 按键 达到 输入 文本 的 目的 。 同 时 ,界面 上 
还 有 一 些 控 制 命令 ， 用 户 可 以 通过 视线 来 控制 对 计算 机 的 操作 达到 自己 的 目的 ， 也 可 以 通过 
输入 语音 命令 以 实现 其 控制 。 该 系统 所 配置 的 输出 界面 可 以 用 普通 的 计算 机 屏幕 显示 ， 也 可 
以 由 投影 仪 将 画面 投射 到 墙壁 上 。 其 中 ， 视 线 追 踪 设 备 可 通过 分 析 用 户 的 视线 方向 或 者 眼 动 
位 置 来 实时 计算 用 户 的 视线 在 输出 画面 上 的 落 点 ， 以 确定 画面 中 光标 的 位 置 ， 达 到 协助 用 户 
进行 交互 的 目的 '*。 

除 视线 打字 系统 外 ， 还 有 正在 实验 阶段 的 助 老 助 残 数 字 家 庭 环 境 等 。 其 设计 目的 是 系统 
能 识别 用 户 的 视线 和 语音 来 执行 相应 操作 ， 帮 助 行动 不 便 的 老年 人 和 残疾 人 用 户 控制 家 用 电 
器 设备 和 获取 外 界 及 环境 信息 。 

3. 间接 视线 交互 

基于 视线 追踪 的 人 机 交互 系统 为 用 户 提供 了 便利 的 界面 和 控制 接口 ， 而 且 视 线 触 发 控制 
命令 比 手 控 鼠 标 等 点 击 设备 速度 更 快 更 高 效 ， 尤 其 是 在 选择 大 目标 的 情况 下 速度 优势 更 加 明 
显 。 然 而 由 于 系统 内 部 结构 等 各 种 原因 ， 与 鼠标 点 击 控制 相 比 ， 视 线 控制 的 精度 较 低 且 跟 踩 
不 稳定 。 估 算 点 漂移 与 “Midas” 接触 问题 同样 都 是 视线 跟 踩 系统 的 关键 性 难点 。 如 何 对 用 
户 的 视线 方向 和 控制 行为 进行 快速 的 分 析 和 反应 并 准确 而 实时 进行 动作 响应 ， 是 相关 研究 人 
员 们 需要 继续 探索 的 问题 。 

一 种 有 效 的 间接 视线 交互 方法 ， 是 用 视线 追踪 器 确定 用 户 在 一 幅 图 像 中 感 兴趣 的 区 域 。 
将 所 有 用 户 目 光 扫 视 过 的 区 域 运动 轨迹 记录 下 来 ， 再 对 图 像 进行 修整 。 这 是 一 种 专业 的 裁剪 
图 像 方法 ， 能 较 好 地 把 握 用 户 的 意图 。 这 种 设计 思想 比较 简单 ， 操 作 的 准确 率 较 高 。 这 种 间 
接 交 互 方法 比 上 述 的 直接 交互 更 受到 人 们 的 认可 。 

4. 远程 多 方 通信 

近来 协同 系统 的 远程 多 方 通信 备 受 关注 ， 其 中 视线 追踪 技术 有 着 重要 的 应 用 。 在 多 方 通 
信 系 统 中 能 人 视线 追踪 技术 ， 视 线 追 踪 模 块 可 以 通过 判断 用 户 的 注视 方向 了 解 其 意图 ， 同 时 
启动 多 方 通信 中 的 共享 文件 传输 及 语音 传输 设备 ， 使 各 地 的 多 个 用 户 对 象 通过 系统 进行 无 障 
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碍 交流 。 和 典型 的 实例 是 多 方 远程 会 议 系 统 。 在 这 种 系统 中 ， 会 议 各 方 都 无 需 亲 自 到 达 会 议 地 
点 ， 只 要 局 动 智能 化 的 会 议 系统 ， 所 有 用 户 便 可 以 只 用 语音 和 视线 进行 互相 交流 ， 随 时 获取 
各 自 所 需 的 信息 。 

这 种 系统 的 使 用 大 大 提高 了 会 议 效 率 。 在 不 久 的 将 来 ， 这 种 舱 入 视线 追踪 技术 的 远程 多 
方 通信 系统 还 可 拓展 应 用 于 教学 当中 ， 作 为 虚拟 课 笛 使 用 。 这 样 老师 和 学 生 之 间 的 交流 就 会 
像 真实 课 答 一 样 顺畅 无 碍 并 可 进行 文件 共享 。 电 子 版 的 教学 材料 很 可 能 取代 纸 制 的 教科 书 。 
图 9. 1 所 示 是 一 套 远 程 会 议 系 统 交 互 环境 ” 。 各 与 会 方 只 需 通过 虚拟 会 议 系 统 ， 不 用 出 门 即 
可 完成 会 议 工作 。 


Robert 





图 9. 1 远程 会 议 系统 交互 环境 
网 络 传输 和 CPU 的 处 理 速度 已 经 进入 超 高 速 时 代 ， 内 存 也 进入 超大 容量 发 展 阶 段 ，3G 
技术 也 有 了 更 高 层次 的 发 展 ， 从 而 有 利于 推广 和 普及 这 种 远程 会 议 技 术 。 计 算 机 或 手机 等 小 
型 电子 产品 ， 未 来 将 会 具备 舱 入 了 视线 追踪 技术 的 远程 多 方 通信 功能 。 人 们 可 以 随时 随地 获 
取信 息 ， 为 学 习 、 工 作 和 生活 提供 便利 ， 也 可 以 随时 随地 与 其 他 人 进行 交流 ， 和 家 人 、 朋 友 
“见面 ”交谈 ， 世 界 因此 而 变 小 。 


9.1.2 注视 跟随 系统 


在 人 机 交互 中 视线 追踪 主要 是 作为 一 种 选 则 ， 和 鼠标 的 作用 相同 ， 视 线 落 点 用 于 选择 某 
个 目标 进行 点 击 操作 。 这 种 应 用 是 比较 普遍 的 ， 无 论 是 在 二 维 图 像 显 示 器 中 还 是 在 三 维 的 虚 
拟 环境 中 ， 利 用 视线 方向 或 视线 落 点 进行 目标 的 选择 和 点 击 都 是 一 种 比较 便捷 的 方法 。 

视线 的 另 一 种 用 法 是 被 动 显 示 。 在 这 种 系统 中 ， 视 线 并 不 直接 用 于 选择 和 点 击 目标 。 系 统 
检测 到 用 户 的 视线 方向 、 落 点 和 视线 范围 之 后 ， 根 据 用 户 所 感 兴趣 的 内 容 自动 调整 屏幕 显示 的 
内 容 ， 将 用 户 感 兴 趣 区 域 的 信息 突出 显示 出 来 ， 即 所 谓 的 视线 跟随 显示 (Gaze Contingent Dis- 
play, GCD), GCD 根据 用 户 眼 动 信息 调节 显示 内 容 ， 对 用 户 视线 关注 点 ( 即 视网膜 中 央 四 ， 
Fovea) 附近 的 图 像 进行 高 分 辨 率 显示 ， 而 对 关注 点 之 外 的 周围 图 像 进行 分 状 率 衰减 显示 。 这 
种 系统 则 在 通过 获取 用 户 实时 的 眼 动 信息 ,来 寻求 显示 信息 和 视觉 信息 处 理 之 间 的 平衡 I”]。 
那些 分 布 于 感 兴趣 区 域 之 外 的 用 户 暂 不 关注 的 信息 ， 称 为 外 围 图 景 或 周边 图 景 。 外 围 图 景 的 分 
辨 率 会 按照 一 定 的 规则 进行 衰减 ， 以 达到 突出 显示 用 户 感 兴趣 区 域 的 目的 。 如 果 将 这 种 理念 运 
用 到 语音 电话 技术 当中 ， 用 户 只 需 输 入 语音 命令 及 通过 注视 和 扫 视 完成 相应 操作 即 可 。 这 样 就 
摆脱 了 手动 控制 的 麻烦 ， 为 行动 不 便 的 用 户 提供 了 帮助 。 另 外 ， 它 还 可 用 于 一 些 包 含 诸多 复杂 
细节 但 不 能 实时 显示 的 图 片 显示 系统 中 ， 既 可 以 满足 用 户 的 基本 要 求 ， 又 可 提高 显示 分 辩 率 ， 
从 而 降低 系统 的 设计 难度 。 根 据 不 同 的 显示 处 理 方法 ，GCD 可 以 分 为 以 下 几 类 : 
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1) 基于 屏幕 (Screen-Based) 的 视点 追随 显示 ， 亦 称 为 多 分 辨 率 视 点 追随 显示 (Gaze 
Contingent Multiresolution Display, GCMRD) 。 这 种 显示 是 基于 图 像 像 素 进 行 处 理 的 ， 旨 在 匹 
配 人 眼 视 网 膜 的 分 状 能 力 ， 最 大 程度 地 减 小 带宽 。 

2) 基于 模型 (Model-Based) 的 视点 追随 显示 。 这 种 显示 是 基于 几何 基 元 进行 处 理 的 ， 
用 于 图 形 绘制 系统 。 

1. 基于 屏幕 图 像 的 注视 跟随 显示 系统 

基于 屏幕 的 视点 追随 显示 (GCMRD) 系统 基于 人 类 视觉 系统 的 两 个 特点 : 

1) 人 类 视网膜 的 多 分 辨 性; 

2) 视觉 的 高 分 辩 率 显示 区 域 的 转换 是 通过 眼 动 和 头 动 来 实现 的 。 

显示 和 成 像 系统 对 分 辨 率 、 视 野 大 小 和 帧 速率 都 有 很 高 的 要 求 ， 而 这 些 因素 通常 不 能 同 
时 满足 。 例 如 ， 军 用 飞行 模拟 器 需要 全 方位 的 视 景 系统 ， 图 像 分 辩 率 要 最 大 接近 视觉 系统 的 
分 辨 率 和 最 快 的 显示 更 新 速率 。GCMRD 最 成 熟 的 应 用 是 飞行 模拟 器 :1 。 由 于 不 用 使 整个 视 
野 都 进行 高 分 辨 率 显示 ， 所 以 GCMRD 是 解决 问题 的 有 效 方法 。GCMRD 通过 追踪 用 户 的 视 
线 找到 视线 关注 区 域 ， 并 为 这 个 区 域 提供 较 高 的 分 辩 率 和 较 大 的 图 像 传输 或 是 生成 一 些 资 
M 。 用 户 的 关注 区 域 被 称 为 A-AOI (Attended Area Of Interest) ， 屏 幕 显示 的 高 分 辩 率 区 域 
被 称 为 D-AOI (Display Area Of Interest) 。GCMRD 可 以 节省 两 方面 的 资源 : 

1) 由 于 在 译 码 时 D-AOI 之 外 的 区 域 信息 大 量 减少 ， 节 省 了 图 像 传 输 时 的 带宽 ; 

2) 当 计 算 机 生成 图 像 时 ， 由 于 绘制 低 分 辩 率 的 图 像 比 绘制 高 分 辩 率 的 图 像 简单 ， 所 以 
绘制 需求 减少 了 。 

实际 上 GCMRD 也 存在 一 些 感觉 偏差 ， 例 如 感觉 图 像 模糊 或 是 图 像 运动 !”” 。 理 想 的 
GCMRD 可 以 最 大 限度 地 减少 处 理 和 带宽 需求 ， 以 及 最 小 化 感知 (Perceptual) 和 表现 ( Per- 
formance) 的 损耗 。 但 在 实际 条 件 下 ， 两 者 不 可 能 同时 实现 ， 所 以 用 户 需 要 权衡 利 次 ， 决 定 
取舍 。 例 如 ，GCMRD 应 用 于 飞行 模拟 需 时 ， 最 大 化 显示 的 感知 质量 (Perceptual Quantity ) 
比 最 小 化 图 像 的 处 理 需要 更 为 重要 。 但 是 在 鼠标 控制 的 多 分 辩 率 互联 网 图 像 下 载 中 ， 最 大 限 
度 地 减少 带宽 的 需求 比 最 小 化 感知 质量 重要 。 

GCMRD 的 研究 最 早 可 以 追溯 到 20 世纪 80 年 代 后 期 Kocian 和 Longridge 等 人 在 军事 方面 
的 应 用 。20 世纪 90 年 代 是 视线 跟踪 显示 发 展 相 对 较 快 的 时 期 ， 很 多 方法 和 技术 都 是 20 世 
纪 90 年 代 中 后 期 出 现 的 。 虽 然 这 些 方法 基本 上 都 是 针对 不 同 的 应 用 环境 而 提出 的 。 例 如 ， 
Murphy ^ Æ 3D 图 像 泻 染 领域 ， 采 用 了 多 级 细节 的 方法 来 泻 染 模 型 。 结 果 如 图 9. 2 所 示 。 白 
色 的 小 方块 表示 视线 落 点 。 
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Duchowski 在 参考 文献 [57] 中 采用 了 离散 小 波 变换 方法 实现 了 视点 追随 ， 旨 在 匹配 人 


有 眼 的 视网膜 关注 点 敏锐 度 。 从 小 波 变换 到 最 后 的 
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E 建 ， 主 要 的 依据 是 敏锐 度 映 射 函 数 。 


图 9. 3 所 示 为 采用 Duchowski 方法 的 视点 跟随 效果 和 三 种 敏锐 度 映 射 函数 。 对 图 9.3 a, c, e 








所 示 的 图 片 ， 用 户 视 关注 点 是 主持 人 的 右 眼 ， 图 





a) Haar 线性 映射 


9. 3b、 





d、 了 所 示 为 相应 频 域 小 波 系数 缩放 。 


b) 线性 映射 





d) HVS 映射 





e) Haar 非 线性 映射 


P 非 线性 映射 


图 9.3 离散 小 波 变 换 的 方法 实现 了 视点 追随 系统 


Perry J S 和 Geisler W S 在 参考 文献 [56] 中 提出 了 用 多 分 辩 率 金字 塔 算法 来 进行 视频 
解码 和 译 码 。 图 9. 4a 所 示 的 十 字 架 是 视线 关注 点 ， 左 边 的 关注 点 更 为 突出 ， 这 与 选择 的 参 

















数值 不 同 有 关 。 其 效果 如 图 9. 4b 所 示 。 











多 分 辨 率 图 像 生成 和 D-AOT 区 域 更 新 是 GCMRD 的 两 个 组 成 部 分 。 对 于 这 两 个 部 分 的 研 
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究 是 提高 GCMRD 效率 的 关键 所 在 。 
2. 基于 模型 的 图 像 显 示 
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9.4 ”多 分 辩 率 金字 塔 算法 实现 效果 

基于 模型 的 视点 追随 显示 系统 与 基于 屏幕 的 视点 追随 显示 系统 的 处 理 方式 不 同 。 基 于 几 
何 模型 的 视点 跟随 不 需要 利用 算法 来 对 视线 关注 点 的 外 围 区 域 分 辩 率 做 统一 的 衰减 处 理 ， 以 
突出 显示 用 户 的 注视 中 心 。 取 而 代 之 的 ， 是 利用 几何 模型 来 对 物体 进行 描述 ， 经 几何 模型 表 
示 之 后 将 目标 之 外 的 各 个 物体 图 像 进行 各 种 程度 的 分 辩 率 衰减 。 

早期 的 基于 几何 模型 描绘 物体 的 显示 机 制 考虑 了 以 下 特征 ; 注视 中 心 区 域 及 其 外 围 图 
景 、 运 动 的 视 场 及 每 一 时 刻 的 图 像 视 场 等 。 这 些 因素 是 基于 几何 模型 方法 对 显示 系统 进行 计 
时 的 关键 因素 。 由 于 现实 世界 中 很 多 物体 处 于 运动 变化 状态 ， 物 体会 发 生 方位 的 变化 。 从 某 
一 固定 角度 来 说 ， 同 一 个 物体 的 几何 形状 并 不 是 时 刻 都 保持 一 致 的 ， 这 就 给 物体 的 几何 模型 
描述 带 来 难度 。 研 究 人 员 需 要 找到 有 效 的 算法 使 得 对 处 于 变化 状态 的 物体 进行 几何 描述 时 不 
会 出 现 目标 误 判 ， 使 其 效果 等 同 于 对 图 像 中 静止 物体 进行 几何 描述 的 效果 。 在 识别 视线 的 注 
视 目标 时 ， 其 外 围 的 一 些 物体 也 有 可 能 处 于 运动 变化 状态 ， 所 以 几何 描述 的 方法 直接 关系 到 
系统 显示 的 准确 性 。 

基于 上 述 原因 ， 用 几何 模型 描述 物体 以 退化 外 围 物 体 分 辩 率 的 显示 效果 不 如 人们 预期 的 
好 。 由 于 人 类 的 视觉 敏锐 分 解 能 力 限 制 在 53" 以内， 所 以 需要 对 物体 图 像 的 分 辩 率 进行 统一 
编制 。 这 是 视线 识别 系统 的 核心 原则 。 

1997 年 有 人 提出 ， 大 部 分 的 多 分 辨 率 网 格 建 模 技 术 都 适用 于 注视 显示 系统 ， 包 括 相似 
网 格 的 多 分 辩 率 图 像 重 建 技术 、 逆 向 HMD 外 围 图 景 分 辩 率 退化 的 LOD 方案 等 。 这 些 方法 都 
可 以 用 来 设计 注视 显示 系统 。 由 于 多 分 辩 率 建 模 技术 的 发 展 ， 以 及 注视 跟随 系统 稳定 性 的 提 
高 ， 使 得 各 种 基于 各 向 逆向 模型 的 改进 LOD 技术 在 视线 识别 系统 中 得 到 广泛 应 用 。 

一 种 空间 自 适应 实时 视线 跟随 系统 ， 是 对 分 辨 率 和 几何 形状 两 种 特征 同时 进行 建 模 ， 以 
此 得 到 视频 数据 及 视线 ROI 的 显示 。 模 型 分 别 以 投射 到 每 个 图 像 平 面 单位 区 域 的 光 流量 和 
每 束 光线 所 含 单位 长 度 的 数目 。 实 现 注视 跟随 显示 的 图 像 中 也 会 形成 ROI。 这 个 RO 是 图 像 
经 旋转 滤波 器 采样 后 在 20" 的 中 度 分 辨 率 过 渡 区 域 中 生成 的 12" 的 止 区 。 据 估计 ， 将 采样 系 
数 提高 至 5 才能 减少 图 像 的 生成 时 间 ， 加 快 显示 速度 。 

对 于 一 些 含有 很 多 重要 拓扑 细节 的 场景 ， 比 如 有 着 多 种 细节 描绘 的 虚拟 地 面 ， 这 种 虚拟 
地 面 的 具体 描述 角度 和 细节 程度 有 赖 于 用 户 所 处 的 角度 。 在 设计 系统 时 ， 保 持 物 体 在 空间 上 
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的 连续 性 也 很 重要 。1998 年 ， 有 研究 人 员 提 出 了 一 种 渐进 式 网 格 图 像 重组 方法 。 这 种 方法 
就 是 通过 对 物体 的 几何 结构 等 特征 进行 描述 建立 了 各 种 结构 模型 ， 通 过 对 这 些 模型 的 运用 使 
图 像 显 示 既 保持 了 空间 上 的 连续 性 ， 又 维持 了 时 间 上 的 连续 性 。 

在 之 后 的 研究 中 ,研究 人 员 提 出 了 各 种 基于 几何 模型 的 注视 跟随 显示 方法 。2000 年 ， 
有 研究 人 员 提 出 了 网 格 演 染 方法 。 它 是 将 图 像 由 四 边 形 网 格 分 割 为 大 量 的 子 块 ， 对 每 一 小 块 
的 网 格 顶点 坐标 和 方位 进行 分 析 。 每 一 小 块 都 可 以 做 各 种 处 理 ， 如 颜色 演 染 、 分 辨 率 变 换 
等 。 其 中 ， 各 个 子 块 的 变化 可 以 是 不 同 的 ， 通 过 对 每 一 子 块 进行 分 析 和 变换 最 终 将 整 幅 图 像 
调整 至 可 以 突显 注视 中 心 的 效果 。 同 年 ， 又 有 研究 人 员 提 出 了 一 种 改进 的 基于 目标 物体 
LOD 的 方法 。 此 方法 也 是 对 物体 进行 几何 建 模 以 观察 注视 中 心 ， 但 是 图 像 中 各 个 部 分 的 分 
辩 率 退化 程度 可 以 不 同步 。 提 出 这 种 几何 建 模 技 术 的 目的 在 于 用 一 种 包括 了 映射 和 封闭 表面 
网 格 重建 等 综合 方法 来 对 盯 视 点 进行 泻 染 。 通 过 细微 显示 几何 物体 空间 分 辨 率 退 化 的 专题 实 
验 得 出 了 一 个 三 维 空间 的 衰减 方程 。 系 统 性 能 测试 的 结果 表明 ， 在 盯 视 点 扫描 期 间 ， 总 体 上 
帧 频 大 约 有 平均 十 倍 的 提高 。 在 2001 年 和 2002 年 又 有 人 提出 一 种 对 ROI 赋予 更 高 的 分 辨 
率 ， 而 不 对 外 围 区 域 分 辩 率 进行 衰减 的 方法 。 这 种 方法 省 去 了 对 外 于 区 域 进 行 分 辩 率 衰减 的 
各 种 麻烦 ， 而 高 分 辨 率 区 域 随 着 注视 中 心 的 移动 而 移动 。 这 种 方法 认为 一 种 可 分 解 的 碰撞 处 
理 机 制 可 以 有 效 地 限制 中 央 止 感 兴趣 区 域 和 外 围 区 域 的 分 辩 率 冲突 。 当 两 物 相 撞 时 ， 系 统 也 
能 做 出 处 理 来 判断 注视 中 心 的 具体 区 域 。 但 是 系统 所 估计 的 物体 碰 触 响应 精度 (如 对 两 个 
硬 物 之 间 的 接触 点 的 计算 精度 ) 直接 依赖 于 对 系统 碰 触 感应 的 敏感 程度 。 较 低 的 敏感 度 会 
导致 系统 处 理 的 精度 较 低 ， 而 且 当 物体 弹跳 而 互 不 接触 时 ， 就 存在 着 一 些 潜在 的 感应 能 力 的 
差异 。 而 且 这 种 方法 的 处 理 时 间 比 较 长 ， 在 图 像 及 视 场 中 的 各 物体 变换 较为 复杂 的 情况 下 ， 
系统 显示 的 实时 性 不 好 。 所 以 这 种 方法 虽然 在 某 些 方面 有 优势 ， 但 是 仍然 有 待 改 进 和 发 展 。 






















































































9.2 心理 学 与 生理 学 检测 


随 着 科学 技术 的 发 展 ， 视 线 追 踪 技 术 在 神经 科学 和 心理 学 的 相关 领域 得 到 广泛 应 用 。 其 
研究 范围 从 视觉 科学 的 基础 延伸 到 了 对 美学 视觉 的 探索 。 眼 动 技 术 与 神经 科学 有 着 干 丝 万 缕 
的 联系 。 从 生理 学 方面 角度 ， 神 经 负责 感知 视觉 收集 到 的 信息 ; 从 科学 研究 方面 角度 ， 神 经 
科学 则 是 视线 追踪 技术 的 基础 学 科 。 所 以 要 对 人 类 视觉 系统 有 一 个 完整 而 全 面 的 理解 ， 需 要 
对 人 类 视觉 行为 和 感知 过 程 有 所 了 解 ， 还 要 对 人 类 视觉 系统 的 生理 结构 和 视觉 过 程 有 所 认 
识 。 

研究 表明 ， 人 类 和 动物 接收 的 外 界 信息 至 少 有 80% 以 上 是 通过 视觉 系统 获得 的 。 视 党 
是 人 和 动物 最 重要 的 感觉 。 同 时 ， 人 了 眼 注视 的 方向 也 和 手势 一 样 具有 很 强 的 表意 功能 。 因 
此 ， 在 神经 科学 和 心理 学 的 基础 上 人 研究 视线 追踪 技术 ， 反 过 来 再 将 视线 追踪 技术 应 用 于 生理 
和 心理 学 研究 具有 非常 重要 的 意义 。 目 前 ， 视 线 追 踪 技 术 的 研究 涉及 很 多 生理 学 与 心理 学 基 
础 理论 和 知识 。 而 视线 追踪 技术 又 是 神经 科学 和 心理 学 研究 主要 的 支撑 手段 。 例 如 ， 在 轮廓 
间 觉 的 生理 心理 学 调查 、 轮 廓 错觉 的 神经 机 理 研究 、 视 觉 神经 科学 研究 、 阅 读 心理 学 研究 、 
视觉 搜索 机 制 研究 等 工作 中 ， 都 采用 视线 追踪 技术 。 
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9.3 ”市场 营销 与 广告 


9.3.1 市 场 营销 


近年 来 ， 随 着 视线 追踪 技术 的 进一步 改进 和 可 用 性 的 增强 ， 商 业 部 门 对 其 产生 了 浓厚 的 
兴趣 。 视 线 追 踪 应 用 于 各 种 商业 部 门 ， 包 括 网 页 可 用 性 、 汽 车 设计 、 店 内 广告 、 商 品 包 闭 、 
商品 陈列 位 置 和 方法 、 卖 场 布 局 、 商 品 促销 、 店 内 气氛 、 店 面 形象 等 方面 。 通 常 商业 视线 追 
踪 人 研究 是 通过 给 抽样 消费 者 提出 目标 刺激 来 完成 的 。 其 中 ， 视 线 追 踪 右 用 来 记录 消费 者 的 视 
线 运动 。 目 标 刺 激 可 以 包括 网 站 、 电 视 节 目 、 体 育 项 目 、 电 影 、 商 业 广 告 、 杂 志 、 报 纸 、 包 
装 、 现 货 供应 显示 器 、 消 费 系统 (如 ATMs, AWRA) 等 。 之 后 ， 对 所 得 到 的 数据 进行 统 
计 分 析 。 通 过 检查 注视 、 扫 视 、 瞳 也 扩张、 内 动 及 其 他 眼 动 行 为 ,研究 人 员 就 能 在 很 大 程度 
上 确定 产品 的 有 效 性 和 受 欢 迎 的 程度 等 。 

采用 视线 追踪 技术 进行 市 场 调查 和 研究 的 目的 是 了 解 消 费 者 的 消费 意向 。 广 告 客户 的 目 
的 是 要 提供 产品 的 详细 信息 ， 使 消费 者 认识 到 其 产品 及 产品 质量 的 优越 性 ， 使 消费 者 认识 到 
产品 可 以 满足 其 需求 。 如 果 了 解 消费 者 的 认 知 和 感觉 过 程 ， 理 解 消 费 者 是 如 何 做 出 决定 和 消 
费 者 获得 购买 商品 信息 的 过 程 ， 就 会 对 营销 行动 的 方向 和 行动 起 到 帮助 和 推动 作用 。 

视线 追踪 技术 常用 于 各 种 不 同 的 广告 媒体 中 。 利 用 视线 追踪 技术 分 析 商 业 广告 、 印 刷 品 
广告 、 网 上 广告 和 赞助 节目 。 通 过 了 视线 追踪 拉 术 调查 和 评估 消费 者 视觉 注意 力 停留 在 目标 
标志 、 产 品 或 广告 上 的 频率 ， 分 析 一 个 产品 或 者 一 个 杂志 背景 标志 、 报 纸 、 网 站 或 者 电视 事 
件 的 可 见 程度 和 受 关注 程度 。 以 此 来 量化 一 个 活动 、 一 个 广告 或 一 个 产品 的 成 功 度 。 


9.3.2 网 页 可 用 性 


目前 ， 互 联网 已 经 成 为 人 们 日 常生 活 中 的 重要 媒介 ， 人 与 互联 网 的 交互 几乎 已 经 无 处 不 
在 。 因 此 ， 对 网 页 的 可 用 性 评价 成 为 了 互联 网 人 机 交互 的 一 项 基本 内 容 。 

网 页 可 用 性 测试 是 利用 各 种 可 用 性 研究 方法 对 网 页 的 可 用 性 水 平 进行 评估 。 使 网 页 符合 
用 户 认 知 加 工 特 点 ， 并 提高 网 页 的 可 用 性 "”… 。 传 统 的 网 页 可 用 性 测试 邀请 用 户 使 用 网 页 完 
成 典型 操作 任务 ， 通 过 观察 、 记 录 和 分 析 用 户 行为 数据 ， 采 用 完成 任务 时 间 、 正 确 完 成 任务 
的 用 户 比例 、 错 误 类 型 及 数量 分 析 和 用 户 操 作 满 意 度 的 主观 评价 等 方法 来 对 可 用 性 进行 评 
估 。 但 是 传统 分 析 技 术 主 要 从 操作 结果 的 角度 来 进行 评价 ， 很 难 比 较 不 同 网 页 设计 界面 和 不 
同 评价 指标 之 间 差 异 的 内 在 原因 。 视 觉 追 踪 技 术 为 网 页 可 用 性 研究 提供 了 新 的 途径 ， 可 以 从 
视觉 信息 加 工 的 角度 对 网 页 可 用 性 进行 深入 研究 。 它 可 以 使 用 户 在 自然 操作 状态 下 ， 通 过 记 
录 其 视线 运动 情况 来 分 析 对 界面 视觉 信息 的 加 工 情况 ， 包 括 屏 幕 上 感 兴趣 或 注意 的 位 置 和 视 
觉 注 意 的 转移 过 程 "” 。 

2002 年 ， 相 关 人 研究 人 员 以 使 用 专业 网 络 计算 机 的 用 户 为 被 测试 对 象 ， 要 求 被 测试 对 象 
对 一 个 Oracle 产品 原型 完成 六 个 不 同 的 导航 和 维护 任务 ， 同 时 记录 、 提 取信 息 时 的 眼 动 数 
据 。 实 验 中 使 用 的 视线 运动 指标 有 : 注视 的 相关 数据 (包括 注视 时 间 及 其 站 、Y 坐标)、 界 
面 位 图 信息 (包括 31 个 惟一 界面 的 色彩 位 图 ) 、 对 象 信息 (包括 任务 中 每 个 界面 上 自 定义 
的 感 兴趣 区 域 (Aol) 相关 指标 )" 。 研 究 人 员 从 不 同 层次 对 测试 结果 进行 了 分 析 ， 在 对 象 
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水 平 上 通过 观察 特定 软件 组 件 的 眼 动 顺序 来 定义 对 象 的 注视 顺序 。 这 项 研究 确定 了 视线 运动 
模式 可 以 作为 网 页 可 用 性 评估 的 重要 信息 源 。 

美国 Nielsen Norman 公司 也 曾 通过 视线 追踪 技术 记录 了 232 名 用 户 在 浏览 近 千 个 网 页 的 
视觉 搜索 情况 ， 提 出 了 用 户 浏览 网 页 的 视觉 模式 规律 F 形状 模式 (F-Shaped Paten) " 。 得 
出 的 结论 是 ， 用 户 倾向 于 关注 搜索 窗口 的 左上 部 分 ， 而 经 常 忽视 位 于 右边 栏目 的 链接 。 这 种 
视觉 行为 的 “F” 模 式 具有 相当 的 营销 意义 ， 网 络 搜索 的 结果 是 否 以 一 种 容易 引起 人 们 视觉 
注意 力 的 形式 提供 给 使 用 者 ， 是 一 个 广 受 关注 的 问题 。 相 关 研究 人 员 运 用 视线 追踪 系统 对 两 
种 不 同 的 搜索 网 页 布局 进行 了 研究 。 第 一 种 布局 是 传统 的 列表 菜单 式 界面 ， 列 表 菜 单 包 括 了 
各 种 杂乱 的 没有 归 类 的 信息 ， 如 标题 、 摘 要 和 网 页 链接 地 址 等 。 第 二 种 布局 是 表格 式 的 界 
m, 包含 了 和 第 一 种 界面 相同 的 信息 ， 但 搜索 结果 是 按 某 种 信息 分 类 后 以 多 栏 的 形式 呈现 给 
使 用 者 。 昌 然 在 搜索 带宽 及 准确 度 等 指标 方面 ， 这 两 种 布局 并 没有 显著 的 不 同 ， 但 是 眼 部 运 
动 具 有 显著 的 差异 。 

目前 ,已 经 有 部 分 公司 开发 了 相关 的 视线 追踪 软件 ， 如 美国 六 公司 的 Eye Square-Visu- 
aliser 软件 可 以 实时 地 捕 提 用 户 的 视觉 行为 ,效果 如 图 9.5 所 示 。 
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9.5 Eye Square-Visualiser 效果 


9.3.3 电视 广告 的 改进 


对 于 电视 画面 的 布局 及 各 种 信息 的 播放 位 置 ， 研 究 人 员 采 用 视线 追踪 技术 来 研究 新 增加 
栏目 对 电视 节目 播放 效果 的 影响 。 电 视 节 目 布局 风格 进行 如 下 改变 : 在 电视 屏幕 的 底部 增加 
一 个 滚动 的 信息 栏 ， 里 面 播放 一 些 和 屏幕 所 显示 画面 相应 的 标题 ， 新 闻 摘 要 等 。 为 了 确定 滚 
动 的 信息 栏 及 新 闻 摘 要 等 这 些 潜在 的 分 散 注意 力 的 东西 对 视觉 效果 的 影响 ， 研 究 人 员 对 一 则 
新 的 报道 采取 了 两 种 不 同 的 播 出 方式 : 一 种 是 标准 的 底部 带 有 滚动 信息 栏 的 屏幕 显示 ， 而 另 
一 种 是 改进 后 的 带 有 位 于 屏幕 下 方 的 滚动 信息 栏 及 新 闻 摘 要 的 屏幕 显示 。 与 预期 想像 的 一 
样 ， 深 动 信息 栏 的 出 现 显著 地 吸引 了 观众 的 注意 力 ， 但 观众 对 新 闻 报道 的 大 体 情节 的 理解 未 
受过 多 的 影响 。 

人 们 也 可 以 通过 类 似 的 研究 来 评价 一 个 广告 的 效果 ， 例 如 在 商业 评论 前 面 加 播 广告 或 体 
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育 节 目 现 场 直 播 时 中 间 插 播 广告 。 美 国 的 篮球 和 足球 节目 报道 过 程 中 会 捕 播 一 些 广告 ， 在 比 
赛 中 间 休息 时 间 插 播 广告 ， 或 在 足球 比赛 期 间 在 比分 栏 上 部 增加 广告 信息 等 。 视 线 追 踪 系 统 
的 数据 显示 这 些 类 型 的 广告 方式 效果 很 好 。 


9.3.4 印刷 广告 


研究 人 员 曾 经 做 过 一 个 实验 ， 记 录 观 察 者 查看 公司 黄页 时 的 眼 部 运动 。 在 此 实验 中 ， 妆 
消费 者 从 电话 短 中 挑选 公司 的 时 候 ， 消 费 者 的 眼 部 运动 的 数据 被 收集 了 下 来 并 对 眼 动 数据 进 
行 研究 。 为 了 防止 人 们 对 于 某 些 著名 公司 的 偏见 或 成 见 ， 研 究 人 员 和 制作 了 一 个 完全 虚拟 的 
32 页 的 公司 黄页 电话 短 。 在 字体 、 油 墨 、 颜 色 方面 ， 这 本 公司 黄页 和 真正 的 公司 黄页 完全 
相同 ， 但 是 所 有 公司 都 是 虚构 的 。 这 本 32 页 的 电话 短 按 照 广告 风格 、 广 告 展示 位 置 、 广 告 
大 小 、 颜 色 和 所 使 用 的 图 片 、 是 否 具有 列表 式 的 前 言及 广告 信息 的 类 型 等 不 同方 面 被 装订 成 
四 种 不 同 的 设计 风格 和 布局 。 眼 部 运动 分 析 的 结果 显示 广告 的 大 小 、 图 画 、 颜 色 及 布局 等 因 
素 都 会 对 用 户 的 注意 力 产 生 影响 。 带 有 图 画 的 彩色 广告 更 能 吸引 人 们 的 注意 力 。 和 黑白 广告 
相 比 ， 彩 色 广 告 能 够 更 快 、 更 频繁 地 被 人 们 注意 到 。 对 于 相同 内 容 的 广告 ， 人 们 对 彩色 广告 
的 注意 持续 时 间 会 比 黑白 广告 多 21% 。 而 且 在 浏览 广告 的 时 候 ， 人 们 9696 的 注意 力 是 在 关 
注 广告 的 图 画 。 然 而 不 同 的 是 ， 图 画 并 不 是 像 色彩 那样 一 开始 就 吸引 人 们 的 注意 力 。 广 告 的 
大 小 对 广告 的 吸引 力也 有 影响 。 广 告 的 尺寸 越 大 ， 越 能 引起 观众 的 注意 力 。 有 93% 的 人 能 
够 注意 到 大 尺寸 的 展示 广告 ， 而 只 有 2690 的 人 能 注意 到 那些 尺寸 小 的 广告 ， 而 且 大 尺寸 有 
图 画 的 广告 比 上 只 有 文字 说 明 的 广告 更 容易 吸引 人 们 的 注意 力 。 虽 然 广告 在 页 面 中 的 位 置 并 没 
有 体现 出 关于 广告 的 相关 信息 ， 但 是 广告 在 页 面 中 的 位 置 对 人 们 是 否 能 够 很 快 地 注意 到 广告 
有 着 相当 大 的 影响 。 可 见 ， 视 线 追 踪 技术 可 以 作为 改善 印刷 广告 效果 的 重要 手段 。 

在 用 视线 追踪 技术 研究 消费 者 对 印刷 广告 的 视觉 注意 力 的 过 程 中 ， 观 察 者 要 反复 观看 同 
一 个 广告 。 研 究 人 员 调 查 了 消费 者 对 于 重复 给 出 的 同一 广告 关注 程度 的 下 降 程度 。 调 查 结 
显示 : 

1) 对 有 大 字 标 题 的 文章 ， 消 费 者 的 注意 力 持续 时 间 最 长 ， 而 对 那些 画报 和 图 片 的 内 
容 ， 消 费 者 的 关注 时 间 最 短 。 

2) 对 于 同一 个 广告 ， 每 次 观看 时 ， 人 们 的 首先 看 到 的 元 素 总 是 不 同 的 。 但 是 人 的 观察 
顺序 一 般 是 先 看 图 画 ， 然 后 看 文本 信息 ， 最 后 才 是 总 结 。 虽 然 重 复 观看 同一 广告 对 广告 富 意 
的 理解 没有 什么 影响 ， 但 是 每 次 观看 同一 广告 的 时 ， 都 会 有 不 同 的 见解 。 对 于 观看 同一 个 广 
告 ， 第 二 次 观看 的 时 间 会 比 第 一 次 观看 的 时 间 减 少 ， 而 第 三 次 观看 这 个 广告 的 时 间 又 会 比 第 
二 次 少 。 也 就 是 在 以 后 看 到 相同 的 广告 后 ， 人 们 的 领会 过 程 就 会 加 快 。 

3) 通过 对 信息 输入 通道 进行 建 模 和 分 析 ， 人 们 得 出 广告 的 输入 通道 可 以 通过 一 个 双向 
可 道 的 、 静 态 的 一 阶 马 尔 可 夫 过 程 链 来 描述 。 

关于 广告 中 的 文字 和 图 片 信息 ， 相 关 研 究 人 员 也 通过 视线 追踪 设备 进行 过 研究 。 研 究 
人 员 选 取 若 干 印刷 广告 ,广告 中 的 内 容 包 括 汽 车 和 皮肤 保养 内 容 。 实 验 中 要 求 一 半 的 观 
察 者 特别 注意 汽车 广告 ， 男 一 半 观 察 者 特别 注意 皮肤 保养 广告 。 实 验 结果 显示 绝 大 多 数 
观察 者 都 能 按照 实验 要 求 来 观看 广告 内 容 ,但 观察 者 在 广告 文字 方面 所 花费 的 时 间 比 在 
图 片 方面 所 花费 的 时 间 要 多 很 多 。 在 广告 图 片 方面 的 观看 次 数 和 快速 扫 视 的 次 数 比 文字 
方面 的 多 。 观 察 者 更 倾向 于 先 读 大 字 的 标题 ， 然 后 读 小 字 标 题 ， 最 后 才 是 广告 图 片 。 也 
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有 一 些 观察 者 先 对 图 片 进 行 快速 浏览 。 在 对 110 个 广告 名 字 的 回忆 过 程 中 ，81% 的 观察 
者 回忆 的 广告 名 字 是 正确 的 。 由 于 观察 者 大 部 分 注意 力 集中 在 文字 方面 ， 所 以 对 产品 名 
字 的 记忆 效果 不 是 很 好 。 观 察 者 对 广告 的 观察 顺序 是 ， 先 看 大 字 标 题 ， 而 对 大 字 标 题 所 
人 处 的 空间 位 置 不 是 很 关心 ， 看 了 大 标题 之 后 对 图 片 进行 大 略 的 扫描 ,或 者 将 目光 移动 到 
小 标题 上 然后 再 看 图 片 。 


9.3.5 商品 包装 设计 


视线 追踪 技术 可 以 观察 消费 者 在 观看 目标 包装 时 的 视觉 行为 ， 以 此 来 分 析 包 装 的 独特 性 
和 吸引 力 。 视 线 追 踪 系 统 可 以 准确 地 记录 了 消费 者 观察 的 地 方 ， 从 而 详细 地 表明 了 消费 者 对 
一 个 设计 或 者 商 品 包 装 的 态度 ， 喜 欢 哪些 和 不 喜欢 哪些 。 

瑞典 Tobi 公司 是 著名 的 眼 动 设备 生产 商 。 其 商品 包装 媒体 实验 室 的 项 目 经 理 人 Nina 
kask 认为 ， 视 线 追 踪 技 术 给 人 们 提供 了 一 些 特殊 的 资料 ， 如 哪些 设计 特征 吸引 了 消费 者 的 
注意 ， 哪 些 特征 没有 ， 以 及 哪些 特征 是 消费 者 在 做 出 决定 时 不 知 不 觉 会 考虑 到 的 。 它 为 商品 
包 潜 决策 提供 了 一 个 完整 的 基础 。 图 9.6 所 示 是 运用 视线 追踪 技术 对 消费 者 进行 调查 的 实 
例 。 














图 9.6 运用 视线 追踪 技术 对 消费 者 进行 调查 实例 
在 瑞典 Tobii 公司 和 卡尔 斯 塔 德 大 学 服务 研究 中 心 合作 的 过 程 中 ， 其 包装 媒体 实验 室 设 
计 并 完成 了 一 项 把 视线 追踪 技术 用 于 市 场 调查 研究 的 综合 性 测试 。 测 试 实验 通过 视线 追踪 设 
备 采 集 40 个 消费 者 正在 购物 时 的 眼 动 样本 数据 。 要 求 被 调查 者 从 6 个 产品 形态 中 进行 选择 。 
如 图 9.7 所 示 ， 其 中 每 一 个 产品 具有 不 同 的 包装 形状 。 























图 9.7 被 调查 产品 示例 
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Tobii 视线 追踪 设备 记录 了 被 调查 者 在 进行 选择 时 视线 的 落 点 ， 分 析 这 些 落 点 数据 并 与 
对 被 调查 者 的 口 涉 调查 相关 联 。 这 项 测试 可 以 给 出 哪 一 项 设计 属性 影响 了 被 调查 者 的 决策 。 
图 9. 8 所 示 的 红外 图 像 显 示 了 调查 过 程 中 的 视觉 信息 ， 从 图 中 可 以 看 出 2 号 收 到 了 最 好 的 视 
觉 效 果 。 这 表明 图 9. 8 所 示 的 2 号 圆柱 状 的 包装 被 认为 是 最 特别 的 ， 也 是 商品 货架 上 吸引 了 
最 多 视觉 注意 的 包装 。 消 费 者 购买 这 种 包装 的 咖啡 的 几率 最 大 。 可 见 视线 追踪 技术 是 一 种 评 
价 产品 包装 设计 的 非常 有 价值 的 工具 。 





图 9.8 红外 图 像 显示 的 视觉 信息 





9.4 工业 工程 与 人 因 分 析 


视线 追踪 技术 通过 检测 视线 方向 来 测量 人 的 注意 力 ， 这 对 评估 人 们 的 工作 环境 非常 重 
要 ,尤其 是 在 特别 需要 注意 安全 的 环境 中 。 对 人 的 注意 力 和 行为 进行 测试 和 评估 ， 是 研究 人 
为 因素 与 工业 工程 之 间 关 系 的 重要 课 题 。 眼 动 追踪 技术 能 够 深入 了 解 人 的 视觉 、 认 知 和 注意 
力 。 

视线 追踪 技术 主要 应 用 于 航空 、 车 辆 驾驶 和 视觉 检测 等 领域 。 视 线 追 踪 技 术 的 快速 发 展 
使 腿 动 分 析 成 为 衡量 人 为 因素 的 有 效 工具 。 


9.4.1 航空 


视线 追踪 技术 可 应 用 于 先进 的 飞行 模拟 器 中 。 记 录 模 拟 真实 飞行 条 件 下 专业 飞行 员 的 腿 
青 和 头 部 移动 情况 1] ， 调 查 飞 行 员 的 人 机 交互 行为 。 例 如 ， 在 空中 客车 公司 A330 型 飞机 的 
全 飞行 模拟 器 中 ， 采 用 送 话 器 、 摄 像 机 和 视线 追踪 设备 记录 环境 声音 、 语 音 通信 和 飞行 员 的 
操作 动作 。 在 飞行 模拟 器 中 进行 的 一 些 飞 行 坛 验 中 ， 视 线 追 踪 设 备 记 录 了 鸭 驶 员 的 眼睛 和 头 
部 的 移动 ， 提 供 了 飞行 员 的 注视 点 分 析 数 据 ， 为 研究 飞行 员 在 飞行 过 程 中 的 注意 力 分 配 情况 
并 为 飞行 驾驶 操控 仪表 板 的 设计 提供 支持 。 

A330 座舱 各 单元 分 布 情况 如 图 9.9 所 示 ， 包 括 主 飞行 显示 器 、 导 航 显 示 噩 、 引 敬 和 和 警 
告 显示 器 、 系 统 显示 器 、 主 面板 、 遗 光板 和 头 上 中 央 操 控 台 等 。 主 飞行 显示 器 是 常见 的 飞行 
显示 仪器 ， 能 够 获得 综合 的 信息 ， 包 括 高 度 和 姿势 等 飞行 参数 。 通 过 实验 记录 驾驶 员 的 眼 动 
和 头 部 的 移动 数据 ， 对 三 维 环境 中 飞行 员 的 注视 点 "进行 眼 动 分 析 。 可 以 发 现在 飞行 中 飞 
行 员 往往 通过 眼 动 获得 飞行 信息 和 通报 飞行 指令 ， 非 常 注意 MAP 和 CDU 区 域 。 在 降落 前 ， 
一 般 注意 力 从 主 飞行 显示 咒 到 舱 窗 外 景 很 快 转移 。 

























































































K|9.9 A330 座舱 各 单元 分 布 情况 
表 9.1 A330 座舱 各 单元 名 称 
英文 名 称 中 文 名 称 英文 名 称 中 文 名 称 英文 名 称 中 文 名 称 
OCA 中 央 控 制 区 OUT 舱 窗 外 景 GSc 遮光 板 
FCU 飞行 控制 单元 MAP 信息 图 寺 PFD 主 飞行 显示 器 
ND 导航 显示 器 EWD 引擎 与 警告 显示 器 MPn 主 面板 
SD TB o d CDU 控制 和 显示 单元 OCA 中 央 控 制 台 























在 实验 室内 让 被 测试 人 员 在 飞行 模拟 咒 上 完成 三 个 不 同 阶段 的 模拟 飞行 任务 ， 同 时 用 眼 
动 仪 器 记录 被 测试 者 的 眼 动 数据 。 把 视觉 信息 源 划分 为 座舱 内 仪表 和 外 部 视 景 两 个 兴趣 区 
域 ， 对 三 个 眼 动 指标 在 两 个 兴趣 区 域内 的 分 布 情况 进行 了 分 析 和 对 比 。 结 果 显 示 ， 在 三 个 模 
拟 任务 阶段 被 测试 者 显示 出 了 不 同 的 扫 视 模式 ， 对 外 部 视 景 有 更 多 的 注视 点 比率 、 更 多 的 注 
视 时 间 比 率 和 更 长 的 平均 注视 时 间 。 这 表明 飞行 员 主 要 从 外 景 获 取 视 觉 信息 ， 其 大 部 分 注意 
力 都 集中 在 外 景 。 眼 动 指标 可 以 客观 地 反映 飞行 员 的 注意 力 分 配 规 律 和 工作 负荷 变化 ， 人 研究 
结果 对 于 座舱 显示 信息 的 设计 和 飞行 员 的 培训 有 一 定 的 指导 意义 。 对 于 战斗 机 飞行 员 ， 当 发 
现 敌 对 目标 而 手动 操作 应 付 不 过 来 ， 如 果 具 备 了 有 眼 动 追踪 技术 ， 飞 行 员 可 以 通过 眼睛 瞄准 目 
标 ， 并 用 眼睛 来 控制 火 控 系 统 ， 发 射 弹 药 并 击 中 目标 。 这 样 飞行 员 就 还 具备 武器 操纵 员 的 身 
份 。 可 见 眼 动 追踪 拉 术 对 于 增加 战斗 力 非 常 有 意义 。 

研究 表明 ， 眼 动 信 息 可 以 用 来 判断 飞行 员 的 业绩 ， 以 及 训练 新 飞行 员 。 经 验 丰 富 的 飞行 
员 会 花费 更 少 的 时 间 找 到 航行 的 标志 ， 而 新 飞行 员 则 相反 ， 其 注意 力 会 在 某 些 区 域 滞留 较 长 
的 时 间 。 新 飞行 员 比 有 经 验 的 飞行 员 注 视窗 外 比 注视 仪表 的 时 间 更 长 。 有 经 验 的 飞行 员 与 新 
飞行 员 眼 动 的 最 大 不 同 是 收集 重要 信息 的 数量 不 同 。 有 经 验 的 飞行 员 有 更 多 的 固定 信息 ， 而 
且 每 个 固定 信息 点 持续 相对 相同 的 时 间 。 而 新 飞行 员 要 想 获得 足够 的 导航 信息 则 需 更 多 无 效 
扫描 其 前 面 窗外 的 视野 区 域 。 富 有 经 验 的 飞行 员 注视 窗外 ， 获 得 的 信息 更 翔实 。 因 此 ， 有 专 
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家 建议 如 果 用 经 验 丰 富 飞 行 员 的 扫描 策略 去 培训 新 飞行 员 ， 则 新 飞行 员 与 有 经 验 的 飞行 员 之 
间 的 表现 差异 会 明显 减少 。 

飞机 驾驶 是 一 项 复杂 的 任务 ， 高 度 依赖 于 视觉 信息 的 有 效 获 得 和 注意 力 的 合理 分 配 。 随 
着 飞机 性 能 的 提高 和 功能 的 增多 ， 座 舱 内 显示 信息 日 益 增 加 。 因 此 ， 正 确 理解 飞行 员 的 视觉 
扫 视 行为 ， 从 中 获取 有 关注 意 力 分 配 的 有 效 信息 ， 成 为 越 来 越 多 专家 关心 和 研究 的 热点 。 有 眼 
动 追踪 技术 是 研究 者 普遍 采用 的 研究 手段 ， 在 20 世纪 40 年 代 末 就 率先 对 飞行 员 的 仪表 扫 视 
行为 进行 了 一 系列 研究 ， 黄 定 了 经 典 的 了 形 仪表 布局 。 

视线 追踪 技术 在 航空 领域 中 的 应 用 研究 进行 了 多 年 ， 由 于 实际 飞行 环境 比较 复杂 ， 变 化 
的 气象 条 件 和 地 形 、 地 面 景物 和 其 他 飞行 器 都 会 影响 飞行 员 的 心理 ， 引 起 飞行 员 扫 视 模式 的 
变化 和 注意 力 的 重新 分 配 ”; 。 这 些 因 素 在 实验 室 里 是 难以 完全 模拟 的 ， 探 测 实际 飞行 中 的 
腿 动 行为 是 未 来 视线 追踪 技术 的 一 个 应 用 方向 。 


9.4.2 ”车辆 辅助 驾驶 


随 着 社会 经 济 的 发 展 ， 交 通 拥堵 、 交 通 事故 、 环 境 污 染 、 能 源 短缺 等 交通 相关 问题 已 成 
为 世界 各 国 面临 的 共同 挑战 。 无 论 发 达 国 家 还 是 发 展 中 国家 都 受到 交通 安全 问题 的 困扰 。 各 
国政 府 都 在 交通 安全 方面 投入 巨大 人 力 和 物力 ， 旨 在 减少 交通 事故 保证 交通 安全 。 其 中 ,， 采 
用 高 科技 手段 的 车 辆 主动 安全 方案 受到 广泛 的 关注 与 重视 。 研 究 和 试验 表明 : 驾驶 行为 是 由 
驾驶 人 心理 活动 和 生理 状况 所 决定 的 。 芝 驶 前 对 轰 驶 人 的 情绪 、 心 理 和 生理 状态 进行 评估 ， 
可 以 避免 交通 事故 的 发 生 ; 实时 监测 和 智能 评 佑 区 驶 人 的 驾驶 行为 和 驾驶 状态 ， 有 助 于 及 早 
发 现 可 能 的 操作 失误 ， 同 时 提醒 驾驶 人 采取 更 为 合理 的 驾驶 方案 ; 对 大 量 的 不 同 驾 驶 人 的 驾 
驶 行为 进行 记录 和 统计 分 析 ， 有 助 于 制定 更 为 合理 的 交通 法 律 、 法 规 和 政策 ， 为 国家 行政 和 
司法 部 门 事故 评判 提供 依据 。 

营 驶 人 在 芍 驶 过 程 中 基本 的 眼 动 模式 包括 注视 、 眼 跳 、 追 随 运 动 等 。 获 驶 人 在 驾驶 过 程 
中 为 看 清 某 一 物体 ， 将 眼睛 对 准 对 象 的 活动 称 为 注视 。 在 长 时 间 的 注视 中 ， 微 小 的 眼 动 会 提 
高 视觉 能 力 。 通 过 对 驾驶 人 注视 行为 的 研究 ， 可 以 获得 驾驶 人 视 敏 度 下 降 的 线索 ， 提 醒 驾 驶 
人 在 长 期 驾驶 中 的 要 进行 短暂 的 休息 ， 尤 其 对 于 长 途 运输 驾驶 员 有 重要 的 意义 。 

在 驾驶 过 程 中 营 驶 人 要 经 常 改变 注视 点 ， 是 靠 眼 跳动 来 实现 的 ， 使 下 一 步 要 注视 的 内 容 
落 在 视网膜 最 敏感 的 区 域 一 一 中 央 窝 附近， 以 便 清楚 地 看 到 想 要 看 到 的 内 容 。 通 常人 们 感觉 
不 到 眼睛 的 跳动 ， 而 是 觉得 在 平滑 地 运动 。 眼 睛 的 视线 总 是 先 在 对 象 的 一 部 分 上 停留 一 段 时 
间 ， 注 视 以 后 又 跳 到 男 一 部 分 上 ， 青 对 新 的 部 分 进行 注视 。 随 着 驾驶 速度 的 提高 ， 注 视点 改 
变频 繁 ， 眼 跳 加 快 。 

在 驾驶 过 程 中 驾驶 人 注视 一 个 物体 时 ， 如 果 头 部 不 动 ， 为 了 使 眼睛 总 是 注视 在 这 个 物体 
上 ， 有 眼睛 就 要 追随 这 个 对 象 移动 。 在 追随 运动 中 ， 有 眼球 运动 速度 和 方向 主要 是 与 所 注视 的 物 
体 的 速度 和 方向 有 关 的 。 但 是 当 注 视 对 象 走 得 过 远 时 ,眼球 追随 到 一 定 程度 ， 就 跳动 一 次 ， 
把 视线 转 回 到 起 点 ， 再 注视 新 的 对 象 并 继续 追随 "| 。 

这 一 点 在 汽车 超车 过 程 中 表现 得 最 为 明显 。 通 过 眼 动 仪 记录 的 数据 分 析 可 知 ， 后 车 的 驾 
驶 人 在 跟 足 前 车 时 ， 在 很 远 处 芝 驶 人 就 会 注视 前 车 ， 但 视线 很 快 会 跳 回 来 ， 然 后 又 会 注视 前 
车 ， 这 样 循环 往复 ， 直 到 超车 成 功 。 

眼睛 既是 人 体 获取 视觉 信息 的 通道 ， 同 时 还 能 反应 人 的 精神 状态 。 疲 劳 是 人 体 的 一 种 
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自我 调节 和 保护 功能 ， 它 的 产生 与 劳动 强度 、 环 境 、 健 康 程度 、 情 绪 和 工作 绩效 有 关 。 
疲劳 的 评定 方法 主要 有 两 种 : 第 一 种 是 通过 眼睛 的 闭合 时 间 占 特定 时 间 的 比率 ( Percent- 
age of Eyelied Closure, PERCLOS) 来 确定 ; 另 一 种 是 通过 瞳孔 直径 的 变化 来 衡量 。 目 前 ， 
在 国际 上 主要 是 通过 第 一 种 方法 来 衡量 人 的 疲劳 程度 。PERCLOS 也 是 目前 公认 的 、 最 有 
效 的 精神 生理 疲劳 程度 的 测量 指标 。PERCLOS 方法 有 P70、P80 fü EM 三 种 判定 标准 ， 分 
别 表示 瞳孔 被 眼 瞪 纵向 遮 住 70% 的 时 间 比 率 、 遮 住 80% 的 时 间 比 率 及 眼 瞪 均 方 闭合 率 。 
研究 表明 P80 与 疲劳 程度 间 具 有 最 好 的 相关 性 5%; ， 一 般 采 用 P80 作为 基于 眼 动 的 疲劳 检 
测 的 判定 标准 。PERCLOS «0.075 时 ， 认 为 是 出 于 清醒 状态 ; 0.075 < PERCLOS < 0. 15 
时 ， 认 为 是 处 于 疲劳 状态 。PERCLOS > 0.15 时 ,认为 是 处 于 异 睡 状态 ”1 。 在 驾驶 行为 
中 ， 驾 驶 人 的 疲劳 状况 与 此 精神 生理 疲劳 状况 很 相似 。 因 此 ， 用 P80 来 评价 驾驶 人 的 疲 
劳 程度 。 

但 是 通过 对 眼 动 仪 瞳孔 模块 输出 视频 的 图 像 处 理 ， 也 可 以 有 效 地 得 到 驾驶 员 的 疲劳 状 
态 。 当 一 个 人 在 充分 休息 之 后 ， 其 瞳孔 直径 最 大 ; 随 着 人 疲劳 的 增加 ， 瞳 孔 直 径 变 小 ; IA 
处 于 昏睡 状态 时 ， 瞳 孔 直径 最 小 ， 如 图 9.10 所 示 。 根 据 瞳孔 大 小 可 判定 驾驶 人 所 处 状态 
一 一 驾驶 人 处 于 清醒 状态 、 和 驾驶 人 已 经 处 于 疲劳 状态 、 驾 驶 人 处 于 车 睡 状态 。 因 此 ,可 以 从 
分 析 瞳 孔 直 径 的 变化 来 研究 驾驶 人 的 疲劳 程度 。 可 以 通过 实时 监控 驾驶 人 的 瞳孔 变化 ， 来 提 
醒 驾 驶 人 是 否 已 经 疲劳 ， 要 提高 行车 安全 1”” 。 





























图 9.10 不 同 状 态 下 的 眼 动 形态 


人 的 因素 是 交通 系统 各 构成 因素 中 最 不 稳定 的 因素 之 一 ， 也 是 造成 汽车 交通 事故 的 主要 
原因 。 有 人 认为 ， 驾 驶 人 必须 对 行车 中 的 各 种 信息 进行 及 时 筛选 ， 高 速度 地 处 理 信息 ， 选 
择 重 要 的 信息 进行 反应 ”i。 不 同年 龄 驾驶 人 存在 程度 不 同 的 不 良 注视 模式 ， 而 通过 训练 
能 够 成 功 地 改进 驾驶 人 的 视觉 搜索 模式 。 眼 动 分 析 法 是 对 驾驶 人 视觉 特征 进行 研究 的 重要 方 
法 ， 它 通过 分 析 驾 强 人 在 驾驶 过 程 中 每 一 时 刻 的 眼 动 数据 来 揭示 人 的 心理 活动 。 这 种 信息 对 
于 深入 分 析 轰 驶 人 的 注视 特点 、 改 善 其 注视 模式 具有 重要 作用 。 国 外 早 在 20 世纪 60 RE% 
开始 通过 眼 动 分 析 法 对 驾驶 人 进行 研究 ， 目 前 该 领域 已 成 为 热点 ”| 。 

不 同 路 况 下 驾驶 行为 的 眼 动 研究 

1. 弯 道 行驶 时 的 眼 动 研究 

有 研究 人 员 考 察 了 在 弯 道 行驶 中 的 眼 动 模式 。 结 果 发 现在 弯 道 行驶 时 ， 驾 驶 人 可 以 从 道 
路 视 像 的 两 个 部 分 获得 视觉 信息 ， 以 便 在 弯 道 内 驾驶 时 保持 正确 的 位 置 。 第 一 部 分 在 驾驶 人 
前 方 0.75 ~1. 00 弧 秒 处 ， 它 被 用 于 前 上 脆性 机 制 ， 保 证 驾驶 人 看 到 路 的 转弯 处 。 必 一 部 分 在 
驾驶 人 前 方 0.5 IE (弧度 单位 ) 处 ， 它 被 用 于 反馈 机 制 ， 保 证 汽车 行驶 在 路 的 中 间 ， 而 
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不 碰 到 边沿 。 不 管 是 熟练 的 驾驶 人 还 是 不 熟练 的 驾驶 人 ， 都 表现 出 了 反馈 机 制 。 而 熟练 的 加 
驶 人 更 多 地 表现 出 前 脆性 机 制 '” ?1 。 

2. 改换 车 道 时 的 眼 动 研究 

有 研究 人 员 考 察 了 驾驶 人 在 高 速 公路 上 行驶 时 改换 车 道 时 的 眼 动 模式 ， 结 果 发 现 ， 一 
开始 改道 驾驶 人 就 会 将 注视 的 焦点 从 原 车 道 转移 到 目标 车 道上 。 但 是 从 左 向 右 改道 和 从 右 向 
左 改 道 时 的 眼 动 模式 还 存在 一 些 差 异 。 在 从 右 向 左 改 道 时 ， 在 改道 前 ， 驾 驶 人 的 注视 点 多 停 
留 在 原 车 道上 ; 准备 改道 时 对 原 车 道 的 注视 时 间 减 少 ， 对 目标 车 道 和 反光 镜 的 注视 时 间 增 
多 。 从 左 向 右 改道 时 ， 改 道 前 驾驶 员 的 注视 点 在 原 车 道 和 目标 车 道上 的 停留 时 间 基 本 相等 ，; 
准备 改道 时 ， 对 原 车 道 的 注视 时 间 减 少 ， 对 目标 道 和 反光 镜 的 注视 时 间 增 多 。 一 旦 开始 改道 
对 反光 镜 的 注视 减少 ， 对 原 车 道 和 目标 道 的 注视 时 间 基 本 不 变 ， 对 目标 车 道 的 注视 时 间 较 
ZU , 

3. 复杂 路 况 下 驾驶 时 的 眼 动 研究 

大 量 研究 表明 : 当 路 况 变 得 复杂 时 ， 驾 驶 人 的 注视 次 数 增多 ， 注 视 时 间 增 加 。 在 Chap- 
man 和 Underwood 的 研究 1 中， 选取 熟练 和 不 熟练 的 轰 ;5 驶 人 作为 被 济 试 者 ， 通 过 视线 追踪 
设备 记录 他 们 在 看 危险 路 况 录 像 时 的 眼 动 。 结 果 发 现 ， 不 同类 型 场景 中 的 眼 动 存在 差异 。 在 
农村 场景 中 ， 被 测试 者 报告 出 的 危险 事件 少 ， 平 均 注 视 持 续 时 间 长 。 在 城市 的 场景 中 , UU 
组 被 测试 者 都 报告 了 更 多 的 危险 事件 ， 平 均 注 视 持 续 时 间 较 短 。Hella 等 的 研究 发 现 其 他 车 
辆 的 临近 也 会 影响 驾驶 人 的 视觉 搜索 策略 > 。 

4. 驾驶 经 验 对 驾驶 人 眼 动 特征 的 影响 

驾驶 经 验 对 驾驶 行为 有 重要 的 影响 ， 在 考察 驾驶 经 验 对 上 腿 动 影响 的 这 类 实验 研究 中 ， 使 
用 最 多 的 是 “新 手 - 专 家 范式 ”。 这 种 范式 就 是 要 求 新 驾驶 人 和 经 验 丰富 的 驾驶 人 完成 同一 项 
任务 ， 然 后 考察 和 研究 他 们 在 完成 这 一 任务 时 所 表现 出 来 的 差异 。 

一 项 经 典 实验 研究 (Mrouant 与 Rockwell , 1972 ^E) 中 ， 比 较 新 驾驶 人 和 老 驾 驶 人 
开车 时 的 眼 动 模式 |。 研究 中 ， 被 测试 者 为 6 名 新 加 9 怠 人 和 4 名 经 验 丰富 的 老 驾 驶 人 。 
实验 时 ， 要 求 他 们 在 居民 区 附近 的 道路 和 一 条 高 速 公路 上 开车 ， 同 时 记录 眼 动 。 结 果 表 
明 ， 新 驾驶 人 在 驾驶 时 ， 注 视 范 围 比 老 驾驶 人 小 ; 新 驾驶 人 在 驾驶 汽车 时 ， 紧 盯 前 方 的 
车 辆 ， 并 对 车 辆 右 侧 注视 较 多 ; 新 萄 驶 人 对 后 视 镜 注 视 较 少 ， 而 老 驾 驶 人 则 注视 多 ; 在 

高 速 公路 行车 时 ， 新 驾驶 人 常 出 现 追 随 眼 动 ， 而 老 驾 怠 人 只 进行 注视 ,无 追随 眼 动 发 
生 。 

Miltenburg 等 人 的 研究 (1990 E) 是 让 驾驶 人 看 6 段 交 通 场 景 的 录像 1。 结果 表明 ， 
经 验 丰 富 组 比 一 般 经 验 组 的 注视 持续 时 间 短 ， 一 般 经 验 组 比 新 手 组 的 注视 持续 时 间 短 。The- 
euses 的 研究 (1996 年 ) Zz3477 ， 有 经 验 的 驾驶 人 会 把 视线 直接 指向 那些 容易 出 现 危 险 刺 
Wn rU, 

5. 性 格 特征 对 驾驶 人 眼 动 的 影响 

性 格 是 指 人 对 现实 的 态度 和 行为 方式 中 的 比较 稳定 的 具有 核心 意义 的 心理 特征 。 有 研究 
发 现 ， 性 格 特征 对 驾驶 行为 有 一 定 的 影响 Shinar 等 人 研究 了 场 依存 型 与 驾驶 员 视 觉 搜 
索 之 间 的 关系 "5 。 通 过 镶 艇 图 形 测 验 筛 选 出 场 依存 型 的 被 测试 者 ， 要 求 他 们 在 模拟 条 件 下 
进行 鸭 怠 ， 记 录 其 眼 动 情况 。 结 果 表 明 ， 场 依存 型 被 测试 者 的 视觉 搜索 效率 较 低 ， 他 们 将 注 
视 范围 局 限 在 较 小 的 区 域内 ;， 当 视觉 刺激 变化 时 ， 场 依存 型 被 试 需要 更 多 的 时 间 加 工 视 觉 信 
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6. 年 龄 对 驾驶 人 眼 动 的 影响 

Ho 等 人 研究 (2001 年 ) 了 年 龄 因素 在 对 道路 上 的 交通 标志 物 进 行 视觉 搜索 中 的 影响 。 
在 视觉 搜索 任务 中 ， 要 求 被 测试 者 在 一 个 场景 中 搜索 该 交通 标志 。 绪 果 表 明 ， 老 年 人 与 青年 
人 相 比 ， 前 者 准确 性 较 低 、 反 应 较 慢 、 注 视 次 数 较 多 、 注 视 时 间 较 长 ， 当 场景 中 的 干扰 物 增 
多 或 照明 度 降 低 时 ， 年 龄 造成 的 差异 更 加 明显 。 研 究 者 建议 在 道路 上 应 该 考虑 减少 那些 引 人 
注目 的 标志 物 ( 如 广告 牌 等 ) 的 数量 ， 将 那些 对 安全 起 重要 作用 的 标志 做 得 更 醒目 一 
Jb 29.36 ] 

7. 酒精 和 大 麻 对 驾驶 人 有 眼 动 的 影响 

Lamors 与 Ramerkers 的 研究 发 现 服用 少量 的 大 麻 或 酒精 对 驾驶 水 平 较 高 的 被 测试 者 的 视 
觉 搜索 行为 和 驾驶 熟练 性 没有 影响 。 但 是 如 果 两 者 共同 服用 时 ， 即 使 少量 ， 也 会 使 被 测试 
者 在 通过 十 字 路 口 时 对 从 旁边 道路 上 驶 来 的 汽车 和 行人 的 注意 比 平时 减少 3% 。 而 且 这 种 影 
响 对 女性 被 试 来 说 尤为 明显 (搜索 到 的 刺激 减少 了 7 90) 77, 



































9.5 ”本章 小 结 





视线 追踪 技术 是 一 种 新 型 的 人 机 交互 技术 ， 在 很 多 领域 有 着 广泛 的 应 用 。 本 章 在 参考 大 
量 文 献 的 基础 上 ， 从 人 机 交互 、 生 理 心理 检测 、 工 业 工程 与 人 因 分 析 等 角度 系统 地 总 结 介 绍 
了 视线 追踪 技术 的 应 用 。 

作为 人 的 面部 最 突出 的 特征 之 一 ， 眼 睛 在 描述 和 理解 人 的 愿望 、 需 求 和 情绪 状态 中 扮演 
了 重要 角色 。 视 线 检测 与 跟踪 是 人 机 交互 技术 、 用 户 关注 接口 技术 和 用 户 情 感 状 态 理 解 技术 
的 关键 。 此 外 ， 人 了 眼 独 一 无 二 的 几何 、 光 度 和 运动 特征 也 为 人 脸 检测 、 识 别 和 表情 理解 提供 
了 重要 且 形 象 的 提示 。 作 为 一 种 新 型 的 人 机 交互 技术 ,视线 具有 简便 、 直 接 、 自 然 和 双 问 性 
的 特点 ， 通 过 对 视线 方向 的 追踪 分 析 可 以 获取 人 的 意图 信息 。 这 对 分 析 人 类 自身 的 行为 和 使 
机 带 理 解 人 的 行为 部 具有 关键 意义 。 因 此 ， 概 括 起 来 视线 追踪 技术 的 应 用 可 以 分 为 两 大 类 。 

(1) 人 类 自身 行为 分 析 

在 心理 学 、 行 为 学 、 解 剖 神 经 学 甚至 脑 科学 等 理论 研究 领域 中 ， 视 线 追 踪 是 关键 的 研究 
手段 。 在 人 机 工效 学 和 各 种 环境 下 的 人 因 分 析 等 工程 应 用 领域 中 ， 视 线 追 踪 所 得 到 的 数据 是 
重要 的 研究 依据 。 在 广告 学 、 行 销 学 等 商业 领域 中 ， 对 消费 者 的 视线 追踪 可 以 有 效 地 帮助 经 
销 商 了 解 所 经 销 的 产品 受 欢 迎 程度 ， 并 采取 相应 的 营销 策略 。 

(2) 人 机 交互 

人 机 交互 的 目的 就 是 让 机 器 能 理解 人 的 行为 (包括 意图 和 指令 )。 目 前 ， 人 机 交互 正 朝 
着 通道 的 多 样 性 发 展 ， 如 语音 、 手 势 和 脑 波 等 。 视 线 方向 作为 人 机 交互 的 又 一 个 有 效 通道 正 
受到 越 来 越 多 的 关注 。 其 优势 在 于 ， 比 脑 机 接口 对 使 用 者 的 干扰 小 ， 比 语音 识别 的 普 适 性 
强 ， 比 手势 识 别 的 反应 速度 快 ， 而 且 在 一 定 程度 上 减轻 了 认 知 负 蓓 与 双手 的 工作 负担 。 H 
前 ， 视 线 追 踪 技 术 在 人 机 交互 领域 的 一 个 重要 应 用 是 针对 残疾 人 ， 特 别 是 胶体 重度 残疾 人 的 
人 机 交互 。 通 过 检测 视线 指向 ， 可 以 使 残疾 人 通过 视线 控制 光标 ， 从 而 进行 人 机 交互 。 由 于 
残疾 人 与 老年 人 在 生理 机 能 上 的 衰退 与 缺陷 ， 视 线 追 踪 逐 渐 成 为 残疾 人 功能 辅助 和 环境 控制 
中 的 关键 技术 。 
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